中央网信办相关(guan)部门负责人表示，将有(you)序推进“清朗”系列专项行(xing)动(dong)各项任务，同时(shi)，也会根据实际情况需(xu)要增加重点整治内容。将进一步(bu)压实各方主体责任，持续(xu)净化信息内容、规范功能(neng)服务，确保整治工(gong)作取得实效，推动(dong)网络生态持续(xu)向好。　　

南都(dou)聚焦AI技术滥(lan)用

“公众从源头参与是(shi)解决方案”　　

AI技术滥(lan)用乱象成为(wei)今年重点整治对象之一。中央网信办具体要求，要突出AI技术管理和信息内容管理，强化生成合成内容标识，打击借AI技术生成发布虚假(jia)信息、实施网络水军行(xing)为(wei)等(deng)问题，规范AI类应用网络生态。

南都(dou)大数据研究(jiu)院持续(xu)关(guan)注AI治理，近(jin)期推出“AI新治向”专题报道。其中，通过数据分析，解读2024年全球AI风险事件，关(guan)注AI幻(huan)觉、深(shen)度合成技术滥(lan)用等(deng)AI应用安全风险。

此外，还梳理2024年国(guo)内AI风险主要舆(yu)情案例，聚焦AI造谣这一AI技术滥(lan)用乱象，探讨治理路径。报道发现，当前利用AI技术造谣日趋频繁。据南都(dou)大数据研究(jiu)院不完全统计，2024年搜索热度较(jiao)高的50个国(guo)内AI风险相关(guan)舆(yu)情案例中，超(chao)1/5与AI造谣有(you)关(guan)。AI工(gong)具普及的同时(shi)，也带来造谣成本大幅(fu)降低(di)的问题，且增加了谣言的真实感。仅需(xu)输入简单的关(guan)键词，有(you)AI软(ruan)件便可通过网络抓取相关(guan)素材(cai)，自动(dong)生成包含时(shi)间、地点、人物和事件等(deng)要素的文本或视(shi)频，呈现出看似(si)真实的“新闻”内容。AI大模型的接入，也可能(neng)出现更难识别(bie)以社交机器人为(wei)代表的新型网络水军的情况。用AI“批量化”生产谣言，甚至已成为(wei)一种牟利手段，警方曾(ceng)通报某(mou)MCN机构，组织团队利用AI工(gong)具批量生成虚假(jia)消息，单日产量高达4000至7000篇，日均收入超(chao)过1万元。

专家则提到，在(zai)通过技术和法(fa)律手段治理AI造谣乱象的同时(shi)，公众从源头参与AI治理是(shi)长期解决方案。

采写:南都(dou)记者 陈袁

案例

“AI换脸”成了生意 以假(jia)乱真骗了家人

专家:AI可检测AI，应多元主体协同打击涉AI犯罪

随着AI技术发展，AI换脸图(tu)片和视(shi)频成为(wei)热门现象，娱乐之余，让人真假(jia)莫辨，风险与困扰也不少(shao)。记者近(jin)日调查(cha)发现，互联网上，不仅有(you)人随意兜售AI合成软(ruan)件，“手把手教(jiao)学”，使得制作生成AI“克隆人”视(shi)频的技术成了一门生意。更有(you)甚者，滥(lan)用AI换脸技术走(zou)上了违法(fa)犯罪的道路。　　

几元到上百元不等(deng)可“AI换脸”

滥(lan)用技术实施诈骗屡屡发生　　

“视(shi)频里在(zai)海边游玩的不是(shi)我，而是(shi)我的数字人分身。你跟着我操作，就(jiu)能(neng)定(ding)制自己(ji)的数字人，轻松实现视(shi)频流量起号……”在(zai)社交平台、短视(shi)频平台上，类似(si)以AI数字人、“克隆人”视(shi)频引流的帖子(zi)有(you)很多。

记者就(jiu)制作AI数字人的流程咨询一博主。该博主在(zai)之前发帖中明确表明“不收费”“不用花钱(qian)”，但(dan)提出要加入群聊(liao)成为(wei)会员，他(ta)会在(zai)群内发布相关(guan)操作指南和课程。

此外，在(zai)多个网购平台、二手交易平台，AI“克隆人”商品也可以随意买到。记者在(zai)某(mou)网购平台检索“AI换脸”，显示搜索结果不存在(zai)，但(dan)更换关(guan)键词为(wei)“AI换人脸视(shi)频软(ruan)件”后，立刻出现多款此类商品，价格(ge)从几元到上百元不等(deng)。

记者点进一款名为(wei)“AI数字人生成软(ruan)件短视(shi)频制作对口型形象声音克隆定(ding)制AI分身”的商品，咨询店主后对方回(hui)复称2分钟左右就(jiu)可以生成好。下单后客(ke)服会一对一服务学会使用为(wei)止。随即，对方发来一个标价为(wei)98元的下单链接，称这是(shi)购买该软(ruan)件的月卡，可以制作约30秒以内的视(shi)频32个，“短视(shi)频养(yang)号一个月足(zu)以快速起号”。

除了直(zhi)接售卖AI换脸技术外，还有(you)人瞄准了AI“克隆人”的不法(fa)“商机”。滥(lan)用AI换脸技术行(xing)不法(fa)之实的事件屡有(you)发生。

据办案民(min)警介绍，一些不法(fa)分子(zi)利用AI技术，将他(ta)人的脸换成熟(shu)人或亲人的脸，冒充诈骗对象的重要关(guan)系人，通过合成视(shi)频或照片来“以假(jia)乱真”，扰乱被(bei)诈骗对象的视(shi)线进而实施诈骗。“如果通过AI换脸技术编造险情、灾(zai)情等(deng)，还有(you)可能(neng)构成编造、故意传播虚假(jia)信息罪。”北京盈科(上海)律师事务所数智化建设委员会副主任李悦举例说，前一阵子(zi)的“西藏小男(nan)孩被(bei)埋图(tu)”，虽然使用的AIGC技术不是(shi)深(shen)度合成AI换脸，但(dan)也是(shi)使用AI技术。据了解，该行(xing)为(wei)人已被(bei)追究(jiu)行(xing)政责任。如果其情节更严(yan)重的话，或构成编造、故意传播虚假(jia)信息罪。　　

明确AI应用范围和法(fa)律边界(jie)

对AI生成内容进行(xing)标识　　

随着AI合成技术的广泛应用，我们又该如何防范AI深(shen)度合成音视(shi)频侵权甚至犯罪的问题呢(ne)?中国(guo)网络空(kong)间安全协会人工(gong)智能(neng)安全治理专业委员会专家薛智慧(hui)表示，从技术角度来说，其实可以利用AI技术来对抗跟检测AI。当前也有(you)一些典型的AI技术，能(neng)够对这些图(tu)片或者音视(shi)频进行(xing)检测，来判(pan)断或者分析这些图(tu)片是(shi)否后期加工(gong)和合成的。

“滥(lan)用AI技术实施犯罪行(xing)为(wei)往往与传统犯罪行(xing)为(wei)(如电信诈骗、传播网络谣言等(deng))相结合，需(xu)要公安机关(guan)联合各大网络平台采取更为(wei)直(zhi)接、有(you)效的治理措施。”北京航空(kong)航天大学法(fa)学院副教(jiao)授赵精武说。

为(wei)此，他(ta)建议构建多元主体协同治理的体系架构:公安机关(guan)与网信、工(gong)信等(deng)部门联动(dong)执法(fa)，全方位、全环节整治和打击涉AI犯罪活动(dong)和网络黑灰产业链；执法(fa)部门同步(bu)更新监管技术，推动(dong)人工(gong)智能(neng)技术在(zai)刑事侦(zhen)查(cha)等(deng)领域的应用，进而更高效、更精准地打击滥(lan)用AI犯罪活动(dong)；网络平台积极落实平台主体责任，积极配合执法(fa)活动(dong)，严(yan)格(ge)落实网络实名制和黑名单制度，严(yan)防各类犯罪行(xing)为(wei)人通过更换账号登录方式躲避平台监管。

李悦建议，立法(fa)方面，需(xu)明确定(ding)义(yi)深(shen)度合成技术的应用范围和法(fa)律边界(jie)，细化平台、技术提供商、内容制作者及用户的法(fa)律责任。同时(shi)，加大对利用AI技术实施犯罪行(xing)为(wei)的刑事处罚力(li)度，并完善针对AI合成视(shi)频的证据规则，明确其法(fa)律效力(li)。

“技术方面，推广AI合成视(shi)频的检测工(gong)具和溯源技术，研发高效、低(di)成本的检测服务，并向公众开(kai)放。利用水印技术对AI生成内容进行(xing)标识，便于追踪和识别(bie)。”李悦说，此外，可以建立AI企业备案制度，加强对企业资质、数据安全和算法(fa)透明度的监管。　

综合法(fa)治日报、央视(shi)新闻客(ke)户端

制图(tu):李思萌(即梦AI)　何欣