中央网信办相关部门负(fu)责人(ren)表示，将有序(xu)推(tui)进“清朗”系列专项行动各项任务，同(tong)时，也会根据实际(ji)情况需要增加重点整治内容(rong)。将进一(yi)步压实各方主体责任，持续净化信息内容(rong)、规范功能(neng)服(fu)务，确保整治工作取得实效，推(tui)动网络生态(tai)持续向好。　　

南都(dou)聚焦AI技术滥用(yong)

“公众从源头参与是解(jie)决方案”　　

AI技术滥用(yong)乱象成为今(jin)年(nian)重点整治对象之(zhi)一(yi)。中央网信办具体要求(qiu)，要突出AI技术管理(li)和信息内容(rong)管理(li)，强(qiang)化生成合成内容(rong)标识(shi)，打击借AI技术生成发布(bu)虚假信息、实施网络水军行为等问题，规范AI类应(ying)用(yong)网络生态(tai)。

南都(dou)大数据研究院持续关注AI治理(li)，近期推(tui)出“AI新(xin)治向”专题报道。其中，通过数据分析，解(jie)读2024年(nian)全球AI风险事件，关注AI幻觉、深(shen)度合成技术滥用(yong)等AI应(ying)用(yong)安全风险。

此外，还梳理(li)2024年(nian)国内AI风险主要舆情案例，聚焦AI造谣这一(yi)AI技术滥用(yong)乱象，探讨(tao)治理(li)路径。报道发现，当前利用(yong)AI技术造谣日趋频繁。据南都(dou)大数据研究院不完全统计，2024年(nian)搜索热(re)度较高的50个国内AI风险相关舆情案例中，超1/5与AI造谣有关。AI工具普及的同(tong)时，也带来造谣成本大幅降低的问题，且增加了谣言的真实感。仅需输入简单(dan)的关键词，有AI软件便(bian)可通过网络抓取相关素材，自动生成包(bao)含时间、地点、人(ren)物和事件等要素的文本或视(shi)频，呈现出看似真实的“新(xin)闻”内容(rong)。AI大模型的接入，也可能(neng)出现更难(nan)识(shi)别(bie)以社交机器人(ren)为代表的新(xin)型网络水军的情况。用(yong)AI“批量化”生产(chan)谣言，甚至已成为一(yi)种牟利手(shou)段，警方曾通报某(mou)MCN机构(gou)，组(zu)织团队利用(yong)AI工具批量生成虚假消息，单(dan)日产(chan)量高达4000至7000篇，日均收入超过1万元。

专家则提到，在通过技术和法律手(shou)段治理(li)AI造谣乱象的同(tong)时，公众从源头参与AI治理(li)是长期解(jie)决方案。

采写:南都(dou)记者 陈袁

案例

“AI换脸”成了生意 以假乱真骗了家人(ren)

专家:AI可检测AI，应(ying)多元主体协同(tong)打击涉AI犯罪

随着AI技术发展，AI换脸图片和视(shi)频成为热(re)门现象，娱乐之(zhi)余，让人(ren)真假莫(mo)辨，风险与困扰也不少。记者近日调查发现，互(hu)联网上，不仅有人(ren)随意兜售AI合成软件，“手(shou)把(ba)手(shou)教(jiao)学(xue)”，使得制作生成AI“克隆人(ren)”视(shi)频的技术成了一(yi)门生意。更有甚者，滥用(yong)AI换脸技术走上了违法犯罪的道路。　　

几元到上百元不等可“AI换脸”

滥用(yong)技术实施诈骗屡屡发生　　

“视(shi)频里在海边游玩(wan)的不是我，而是我的数字人(ren)分身。你跟着我操作，就能(neng)定制自己(ji)的数字人(ren)，轻松(song)实现视(shi)频流量起号(hao)……”在社交平台、短视(shi)频平台上，类似以AI数字人(ren)、“克隆人(ren)”视(shi)频引流的帖子有很多。

记者就制作AI数字人(ren)的流程咨(zi)询一(yi)博主。该博主在之(zhi)前发帖中明确表明“不收费”“不用(yong)花钱”，但提出要加入群聊成为会员(yuan)，他会在群内发布(bu)相关操作指(zhi)南和课程。

此外，在多个网购平台、二(er)手(shou)交易平台，AI“克隆人(ren)”商品也可以随意买到。记者在某(mou)网购平台检索“AI换脸”，显示搜索结果不存在，但更换关键词为“AI换人(ren)脸视(shi)频软件”后(hou)，立(li)刻出现多款此类商品，价格从几元到上百元不等。

记者点进一(yi)款名为“AI数字人(ren)生成软件短视(shi)频制作对口型形象声音克隆定制AI分身”的商品，咨(zi)询店主后(hou)对方回复称2分钟左右就可以生成好。下(xia)单(dan)后(hou)客服(fu)会一(yi)对一(yi)服(fu)务学(xue)会使用(yong)为止。随即，对方发来一(yi)个标价为98元的下(xia)单(dan)链接，称这是购买该软件的月卡，可以制作约30秒以内的视(shi)频32个，“短视(shi)频养号(hao)一(yi)个月足以快速起号(hao)”。

除了直接售卖(mai)AI换脸技术外，还有人(ren)瞄准了AI“克隆人(ren)”的不法“商机”。滥用(yong)AI换脸技术行不法之(zhi)实的事件屡有发生。

据办案民警介绍，一(yi)些不法分子利用(yong)AI技术，将他人(ren)的脸换成熟人(ren)或亲人(ren)的脸，冒充诈骗对象的重要关系人(ren)，通过合成视(shi)频或照片来“以假乱真”，扰乱被诈骗对象的视(shi)线(xian)进而实施诈骗。“如果通过AI换脸技术编造险情、灾情等，还有可能(neng)构(gou)成编造、故意传播虚假信息罪。”北京盈科(ke)(上海)律师事务所数智化建设委员(yuan)会副主任李悦举例说，前一(yi)阵子的“西(xi)藏小男孩被埋图”，虽然使用(yong)的AIGC技术不是深(shen)度合成AI换脸，但也是使用(yong)AI技术。据了解(jie)，该行为人(ren)已被追究行政责任。如果其情节更严重的话(hua)，或构(gou)成编造、故意传播虚假信息罪。　　

明确AI应(ying)用(yong)范围和法律边界(jie)

对AI生成内容(rong)进行标识(shi)　　

随着AI合成技术的广(guang)泛应(ying)用(yong)，我们又该如何防范AI深(shen)度合成音视(shi)频侵(qin)权甚至犯罪的问题呢?中国网络空间安全协会人(ren)工智能(neng)安全治理(li)专业委员(yuan)会专家薛智慧表示，从技术角度来说，其实可以利用(yong)AI技术来对抗跟检测AI。当前也有一(yi)些典型的AI技术，能(neng)够对这些图片或者音视(shi)频进行检测，来判断或者分析这些图片是否后(hou)期加工和合成的。

“滥用(yong)AI技术实施犯罪行为往(wang)往(wang)与传统犯罪行为(如电信诈骗、传播网络谣言等)相结合，需要公安机关联合各大网络平台采取更为直接、有效的治理(li)措施。”北京航空航天大学(xue)法学(xue)院副教(jiao)授赵精武说。

为此，他建议构(gou)建多元主体协同(tong)治理(li)的体系架构(gou):公安机关与网信、工信等部门联动执法，全方位、全环节整治和打击涉AI犯罪活动和网络黑灰(hui)产(chan)业链；执法部门同(tong)步更新(xin)监管技术，推(tui)动人(ren)工智能(neng)技术在刑事侦查等领(ling)域的应(ying)用(yong)，进而更高效、更精准地打击滥用(yong)AI犯罪活动；网络平台积极落实平台主体责任，积极配合执法活动，严格落实网络实名制和黑名单(dan)制度，严防各类犯罪行为人(ren)通过更换账号(hao)登录方式躲避平台监管。

李悦建议，立(li)法方面，需明确定义深(shen)度合成技术的应(ying)用(yong)范围和法律边界(jie)，细化平台、技术提供商、内容(rong)制作者及用(yong)户的法律责任。同(tong)时，加大对利用(yong)AI技术实施犯罪行为的刑事处罚力度，并完善针对AI合成视(shi)频的证据规则，明确其法律效力。

“技术方面，推(tui)广(guang)AI合成视(shi)频的检测工具和溯源技术，研发高效、低成本的检测服(fu)务，并向公众开放。利用(yong)水印技术对AI生成内容(rong)进行标识(shi)，便(bian)于追踪和识(shi)别(bie)。”李悦说，此外，可以建立(li)AI企业备案制度，加强(qiang)对企业资质、数据安全和算(suan)法透明度的监管。　

综合法治日报、央视(shi)新(xin)闻客户端

制图:李思萌(meng)(即梦AI)　何欣