中央网信办相关部门负责人表(biao)示，将有序推进“清朗”系列专项行动各项任(ren)务(wu)，同时，也会根据实际情况需要增加重点(dian)整治内容。将进一步压实各方(fang)主体责任(ren)，持续净化信息内容、规范功能服务(wu)，确保整治工(gong)作取(qu)得实效，推动网络生态持续向(xiang)好。　　

南都(dou)聚焦AI技术滥用

“公众从源头参与(yu)是解决方(fang)案”　　

AI技术滥用乱象成为(wei)今年重点(dian)整治对象之一。中央网信办具(ju)体要求，要突出AI技术管理和信息内容管理，强化生成合成内容标识(shi)，打击借AI技术生成发布虚假信息、实施网络水军行为(wei)等问题，规范AI类(lei)应用网络生态。

南都(dou)大(da)数据研究院持续关注AI治理，近期推出“AI新治向(xiang)”专题报道(dao)。其中，通过数据分析，解读2024年全(quan)球AI风险(xian)事(shi)件，关注AI幻(huan)觉、深(shen)度合成技术滥用等AI应用安全(quan)风险(xian)。

此外，还梳理2024年国内AI风险(xian)主要舆情案例，聚焦AI造谣这(zhe)一AI技术滥用乱象，探讨治理路径。报道(dao)发现，当前利用AI技术造谣日趋频(pin)繁(fan)。据南都(dou)大(da)数据研究院不完全(quan)统计，2024年搜索热度较高的50个(ge)国内AI风险(xian)相关舆情案例中，超1/5与(yu)AI造谣有关。AI工(gong)具(ju)普及的同时，也带来造谣成本大(da)幅降低的问题，且增加了谣言的真实感。仅需输入简单的关键词，有AI软件便可通过网络抓取(qu)相关素材，自动生成包含时间、地点(dian)、人物和事(shi)件等要素的文本或视频(pin)，呈现出看似真实的“新闻”内容。AI大(da)模型的接入，也可能出现更难识(shi)别以社交机器人为(wei)代(dai)表(biao)的新型网络水军的情况。用AI“批量化”生产谣言，甚至已(yi)成为(wei)一种(zhong)牟利手段，警方(fang)曾通报某MCN机构，组织团队利用AI工(gong)具(ju)批量生成虚假消息，单日产量高达(da)4000至7000篇，日均(jun)收入超过1万元。

专家则(ze)提到(dao)，在(zai)通过技术和法律手段治理AI造谣乱象的同时，公众从源头参与(yu)AI治理是长(chang)期解决方(fang)案。

采(cai)写:南都(dou)记者 陈袁

案例

“AI换脸”成了生意 以假乱真骗了家人

专家:AI可检测AI，应多元主体协(xie)同打击涉AI犯罪(zui)

随着AI技术发展(zhan)，AI换脸图(tu)片和视频(pin)成为(wei)热门现象，娱(yu)乐之余，让人真假莫辨，风险(xian)与(yu)困扰也不少。记者近日调查发现，互联网上(shang)，不仅有人随意兜售AI合成软件，“手把(ba)手教学”，使得制作生成AI“克隆人”视频(pin)的技术成了一门生意。更有甚者，滥用AI换脸技术走上(shang)了违法犯罪(zui)的道(dao)路。　　

几(ji)元到(dao)上(shang)百元不等可“AI换脸”

滥用技术实施诈骗屡屡发生　　

“视频(pin)里在(zai)海边游玩(wan)的不是我，而是我的数字人分身。你跟着我操作，就能定(ding)制自己的数字人，轻松实现视频(pin)流量起号……”在(zai)社交平(ping)台、短视频(pin)平(ping)台上(shang)，类(lei)似以AI数字人、“克隆人”视频(pin)引流的帖子有很(hen)多。

记者就制作AI数字人的流程咨询一博主。该博主在(zai)之前发帖中明确表(biao)明“不收费”“不用花钱”，但提出要加入群聊成为(wei)会员，他会在(zai)群内发布相关操作指南和课程。

此外，在(zai)多个(ge)网购平(ping)台、二手交易(yi)平(ping)台，AI“克隆人”商品也可以随意买到(dao)。记者在(zai)某网购平(ping)台检索“AI换脸”，显示搜索结果不存在(zai)，但更换关键词为(wei)“AI换人脸视频(pin)软件”后，立刻出现多款此类(lei)商品，价格从几(ji)元到(dao)上(shang)百元不等。

记者点(dian)进一款名为(wei)“AI数字人生成软件短视频(pin)制作对口型形象声音(yin)克隆定(ding)制AI分身”的商品，咨询店主后对方(fang)回复(fu)称2分钟左右就可以生成好。下单后客服会一对一服务(wu)学会使用为(wei)止。随即，对方(fang)发来一个(ge)标价为(wei)98元的下单链接，称这(zhe)是购买该软件的月卡，可以制作约(yue)30秒以内的视频(pin)32个(ge)，“短视频(pin)养号一个(ge)月足以快速起号”。

除了直接售卖AI换脸技术外，还有人瞄准了AI“克隆人”的不法“商机”。滥用AI换脸技术行不法之实的事(shi)件屡有发生。

据办案民(min)警介绍，一些不法分子利用AI技术，将他人的脸换成熟人或亲人的脸，冒充诈骗对象的重要关系人，通过合成视频(pin)或照片来“以假乱真”，扰乱被诈骗对象的视线进而实施诈骗。“如果通过AI换脸技术编造险(xian)情、灾情等，还有可能构成编造、故意传(chuan)播虚假信息罪(zui)。”北京盈科(上(shang)海)律师事(shi)务(wu)所数智化建设委员会副主任(ren)李悦举例说，前一阵(zhen)子的“西(xi)藏小(xiao)男孩被埋图(tu)”，虽然使用的AIGC技术不是深(shen)度合成AI换脸，但也是使用AI技术。据了解，该行为(wei)人已(yi)被追(zhui)究行政责任(ren)。如果其情节更严(yan)重的话，或构成编造、故意传(chuan)播虚假信息罪(zui)。　　

明确AI应用范围和法律边界

对AI生成内容进行标识(shi)　　

随着AI合成技术的广泛应用，我们又该如何防范AI深(shen)度合成音(yin)视频(pin)侵权甚至犯罪(zui)的问题呢?中国网络空间安全(quan)协(xie)会人工(gong)智能安全(quan)治理专业委员会专家薛智慧表(biao)示，从技术角度来说，其实可以利用AI技术来对抗(kang)跟检测AI。当前也有一些典型的AI技术，能够对这(zhe)些图(tu)片或者音(yin)视频(pin)进行检测，来判断或者分析这(zhe)些图(tu)片是否后期加工(gong)和合成的。

“滥用AI技术实施犯罪(zui)行为(wei)往往与(yu)传(chuan)统犯罪(zui)行为(wei)(如电信诈骗、传(chuan)播网络谣言等)相结合，需要公安机关联合各大(da)网络平(ping)台采(cai)取(qu)更为(wei)直接、有效的治理措施。”北京航空航天大(da)学法学院副教授赵精武(wu)说。

为(wei)此，他建议构建多元主体协(xie)同治理的体系架构:公安机关与(yu)网信、工(gong)信等部门联动执(zhi)法，全(quan)方(fang)位(wei)、全(quan)环节整治和打击涉AI犯罪(zui)活动和网络黑灰产业链；执(zhi)法部门同步更新监管技术，推动人工(gong)智能技术在(zai)刑事(shi)侦查等领域的应用，进而更高效、更精准地打击滥用AI犯罪(zui)活动；网络平(ping)台积极(ji)落(luo)实平(ping)台主体责任(ren)，积极(ji)配合执(zhi)法活动，严(yan)格落(luo)实网络实名制和黑名单制度，严(yan)防各类(lei)犯罪(zui)行为(wei)人通过更换账号登录方(fang)式躲避平(ping)台监管。

李悦建议，立法方(fang)面，需明确定(ding)义深(shen)度合成技术的应用范围和法律边界，细(xi)化平(ping)台、技术提供商、内容制作者及用户的法律责任(ren)。同时，加大(da)对利用AI技术实施犯罪(zui)行为(wei)的刑事(shi)处罚力(li)度，并完善针对AI合成视频(pin)的证据规则(ze)，明确其法律效力(li)。

“技术方(fang)面，推广AI合成视频(pin)的检测工(gong)具(ju)和溯源技术，研发高效、低成本的检测服务(wu)，并向(xiang)公众开放。利用水印技术对AI生成内容进行标识(shi)，便于追(zhui)踪(zong)和识(shi)别。”李悦说，此外，可以建立AI企(qi)业备案制度，加强对企(qi)业资质、数据安全(quan)和算法透明度的监管。　

综合法治日报、央视新闻客户端

制图(tu):李思萌(meng)(即梦(meng)AI)　何欣