中央网信办相关部门负责人表示，将有序推(tui)进“清朗”系列专项行(xing)动各项任务，同时，也会根据实际情况需要增加重点整治内容。将进一步(bu)压实各方主体责任，持(chi)续(xu)净化信息内容、规范功能服(fu)务，确保整治工作取得(de)实效，推(tui)动网络生态持(chi)续(xu)向好。　　

南都聚焦AI技术滥用

“公众从源头(tou)参(can)与是(shi)解决方案”　　

AI技术滥用乱象成为今年重点整治对象之一。中央网信办具体要求，要突出AI技术管理和信息内容管理，强化生成合(he)成内容标识，打击借AI技术生成发布(bu)虚假信息、实施网络水军行(xing)为等(deng)问(wen)题，规范AI类应用网络生态。

南都大数(shu)据研(yan)究院持(chi)续(xu)关注AI治理，近(jin)期推(tui)出“AI新治向”专题报(bao)道。其中，通过数(shu)据分析，解读(du)2024年全球AI风险事件，关注AI幻觉、深度合(he)成技术滥用等(deng)AI应用安全风险。

此外，还梳理2024年国内AI风险主要舆情案例，聚焦AI造谣这一AI技术滥用乱象，探讨治理路径。报(bao)道发现，当前利用AI技术造谣日(ri)趋(qu)频(pin)繁。据南都大数(shu)据研(yan)究院不完全统计，2024年搜索热度较高的50个国内AI风险相关舆情案例中，超1/5与AI造谣有关。AI工具普及的同时，也带来造谣成本大幅(fu)降低的问(wen)题，且增加了谣言的真实感。仅需输入简单的关键词，有AI软件便可通过网络抓取相关素材，自动生成包含时间、地(di)点、人物和事件等(deng)要素的文本或视频(pin)，呈(cheng)现出看(kan)似真实的“新闻”内容。AI大模型的接入，也可能出现更难识别以社交机器人为代(dai)表的新型网络水军的情况。用AI“批量化”生产谣言，甚至已成为一种(zhong)牟利手段，警方曾通报(bao)某MCN机构，组(zu)织团队利用AI工具批量生成虚假消息，单日(ri)产量高达4000至7000篇，日(ri)均收入超过1万元。

专家则提到，在通过技术和法(fa)律手段治理AI造谣乱象的同时，公众从源头(tou)参(can)与AI治理是(shi)长期解决方案。

采写:南都记者 陈袁

案例

“AI换脸”成了生意 以假乱真骗(pian)了家人

专家:AI可检测AI，应多元主体协同打击涉(she)AI犯罪(zui)

随着AI技术发展，AI换脸图(tu)片和视频(pin)成为热门现象，娱(yu)乐之余，让人真假莫辨，风险与困扰也不少。记者近(jin)日(ri)调(diao)查(cha)发现，互联网上(shang)，不仅有人随意兜售AI合(he)成软件，“手把手教学”，使(shi)得(de)制(zhi)作生成AI“克隆人”视频(pin)的技术成了一门生意。更有甚者，滥用AI换脸技术走(zou)上(shang)了违法(fa)犯罪(zui)的道路。　　

几元到上(shang)百元不等(deng)可“AI换脸”

滥用技术实施诈骗(pian)屡屡发生　　

“视频(pin)里在海(hai)边游玩的不是(shi)我，而是(shi)我的数(shu)字人分身。你跟着我操作，就能定制(zhi)自己的数(shu)字人，轻(qing)松实现视频(pin)流量起号……”在社交平台、短视频(pin)平台上(shang)，类似以AI数(shu)字人、“克隆人”视频(pin)引流的帖子有很(hen)多。

记者就制(zhi)作AI数(shu)字人的流程咨询一博主。该博主在之前发帖中明确表明“不收费”“不用花(hua)钱(qian)”，但提出要加入群聊成为会员，他会在群内发布(bu)相关操作指南和课程。

此外，在多个网购平台、二手交易平台，AI“克隆人”商品也可以随意买(mai)到。记者在某网购平台检索“AI换脸”，显示搜索结果不存在，但更换关键词为“AI换人脸视频(pin)软件”后，立刻出现多款此类商品，价格(ge)从几元到上(shang)百元不等(deng)。

记者点进一款名为“AI数(shu)字人生成软件短视频(pin)制(zhi)作对口(kou)型形象声音克隆定制(zhi)AI分身”的商品，咨询店主后对方回复称2分钟左(zuo)右就可以生成好。下单后客服(fu)会一对一服(fu)务学会使(shi)用为止。随即，对方发来一个标价为98元的下单链接，称这是(shi)购买(mai)该软件的月卡，可以制(zhi)作约30秒以内的视频(pin)32个，“短视频(pin)养号一个月足(zu)以快(kuai)速起号”。

除了直接售卖(mai)AI换脸技术外，还有人瞄准了AI“克隆人”的不法(fa)“商机”。滥用AI换脸技术行(xing)不法(fa)之实的事件屡有发生。

据办案民警介绍，一些不法(fa)分子利用AI技术，将他人的脸换成熟人或亲人的脸，冒(mao)充(chong)诈骗(pian)对象的重要关系人，通过合(he)成视频(pin)或照片来“以假乱真”，扰乱被诈骗(pian)对象的视线进而实施诈骗(pian)。“如果通过AI换脸技术编造险情、灾情等(deng)，还有可能构成编造、故(gu)意传播虚假信息罪(zui)。”北京盈科(上(shang)海(hai))律师事务所数(shu)智化建设委(wei)员会副主任李悦举例说，前一阵子的“西藏小男孩被埋图(tu)”，虽然使(shi)用的AIGC技术不是(shi)深度合(he)成AI换脸，但也是(shi)使(shi)用AI技术。据了解，该行(xing)为人已被追究行(xing)政责任。如果其情节更严重的话，或构成编造、故(gu)意传播虚假信息罪(zui)。　　

明确AI应用范围和法(fa)律边界

对AI生成内容进行(xing)标识　　

随着AI合(he)成技术的广(guang)泛应用，我们又该如何(he)防范AI深度合(he)成音视频(pin)侵权甚至犯罪(zui)的问(wen)题呢?中国网络空间安全协会人工智能安全治理专业委(wei)员会专家薛智慧表示，从技术角度来说，其实可以利用AI技术来对抗跟检测AI。当前也有一些典型的AI技术，能够对这些图(tu)片或者音视频(pin)进行(xing)检测，来判(pan)断或者分析这些图(tu)片是(shi)否后期加工和合(he)成的。

“滥用AI技术实施犯罪(zui)行(xing)为往往与传统犯罪(zui)行(xing)为(如电信诈骗(pian)、传播网络谣言等(deng))相结合(he)，需要公安机关联合(he)各大网络平台采取更为直接、有效的治理措施。”北京航空航天大学法(fa)学院副教授赵精武说。

为此，他建议构建多元主体协同治理的体系架构:公安机关与网信、工信等(deng)部门联动执法(fa)，全方位、全环节整治和打击涉(she)AI犯罪(zui)活动和网络黑灰产业链；执法(fa)部门同步(bu)更新监管技术，推(tui)动人工智能技术在刑事侦查(cha)等(deng)领域的应用，进而更高效、更精准地(di)打击滥用AI犯罪(zui)活动；网络平台积极落实平台主体责任，积极配合(he)执法(fa)活动，严格(ge)落实网络实名制(zhi)和黑名单制(zhi)度，严防各类犯罪(zui)行(xing)为人通过更换账(zhang)号登录方式(shi)躲避平台监管。

李悦建议，立法(fa)方面，需明确定义深度合(he)成技术的应用范围和法(fa)律边界，细化平台、技术提供(gong)商、内容制(zhi)作者及用户的法(fa)律责任。同时，加大对利用AI技术实施犯罪(zui)行(xing)为的刑事处罚力(li)度，并完善针对AI合(he)成视频(pin)的证据规则，明确其法(fa)律效力(li)。

“技术方面，推(tui)广(guang)AI合(he)成视频(pin)的检测工具和溯源技术，研(yan)发高效、低成本的检测服(fu)务，并向公众开放。利用水印技术对AI生成内容进行(xing)标识，便于追踪和识别。”李悦说，此外，可以建立AI企业备(bei)案制(zhi)度，加强对企业资质、数(shu)据安全和算法(fa)透明度的监管。　

综合(he)法(fa)治日(ri)报(bao)、央视新闻客户端(duan)

制(zhi)图(tu):李思(si)萌(meng)(即梦AI)　何(he)欣