中央网信办(ban)相关部门负责人表示，将有序推进“清朗”系列专项行动各项任务，同时，也会根据实际情(qing)况需要增加重点(dian)整治内容。将进一步压实各方主体责任，持续净化信息内容、规(gui)范功能服务，确保整治工作取得(de)实效，推动网络生态持续向好。　　

南都聚焦AI技术滥用

“公众(zhong)从源头参与是(shi)解决方案”　　

AI技术滥用乱象成为今年重点(dian)整治对象之一。中央网信办(ban)具体要求，要突出AI技术管理和信息内容管理，强化生成合成内容标识，打击(ji)借AI技术生成发(fa)布虚假信息、实施网络水军行为等问题(ti)，规(gui)范AI类应用网络生态。

南都大数据研究院持续关注AI治理，近(jin)期推出“AI新治向”专题(ti)报道。其中，通过数据分析，解读2024年全球AI风险事件，关注AI幻(huan)觉、深度合成技术滥用等AI应用安全风险。

此(ci)外，还梳理2024年国内AI风险主要舆情(qing)案例，聚焦AI造谣这(zhe)一AI技术滥用乱象，探讨治理路径。报道发(fa)现，当前利用AI技术造谣日趋频繁。据南都大数据研究院不完全统计，2024年搜索(suo)热度较高的50个国内AI风险相关舆情(qing)案例中，超1/5与AI造谣有关。AI工具普及的同时，也带来造谣成本大幅降低的问题(ti)，且增加了谣言的真实感。仅(jin)需输入(ru)简单的关键词(ci)，有AI软(ruan)件便可通过网络抓取相关素材，自动生成包含(han)时间、地点(dian)、人物和事件等要素的文本或视频，呈现出看似真实的“新闻”内容。AI大模型的接入(ru)，也可能出现更难识别以社交机器人为代表的新型网络水军的情(qing)况。用AI“批量化”生产谣言，甚至已成为一种牟利手段，警方曾(ceng)通报某MCN机构，组织团队利用AI工具批量生成虚假消息，单日产量高达4000至7000篇，日均(jun)收入(ru)超过1万元。

专家则提到，在通过技术和法律手段治理AI造谣乱象的同时，公众(zhong)从源头参与AI治理是(shi)长期解决方案。

采写:南都记者 陈袁(yuan)

案例

“AI换脸”成了生意 以假乱真骗了家人

专家:AI可检测AI，应多元主体协同打击(ji)涉(she)AI犯罪

随着AI技术发(fa)展，AI换脸图片和视频成为热门现象，娱乐之余，让人真假莫辨，风险与困扰也不少。记者近(jin)日调查发(fa)现，互联网上，不仅(jin)有人随意兜售AI合成软(ruan)件，“手把手教学”，使得(de)制作生成AI“克隆人”视频的技术成了一门生意。更有甚者，滥用AI换脸技术走上了违法犯罪的道路。　　

几元到上百元不等可“AI换脸”

滥用技术实施诈骗屡屡发(fa)生　　

“视频里在海(hai)边游玩的不是(shi)我(wo)，而是(shi)我(wo)的数字(zi)人分身。你跟着我(wo)操作，就能定制自己(ji)的数字(zi)人，轻松实现视频流量起号……”在社交平台、短(duan)视频平台上，类似以AI数字(zi)人、“克隆人”视频引流的帖子有很多。

记者就制作AI数字(zi)人的流程(cheng)咨询一博(bo)主。该博(bo)主在之前发(fa)帖中明确表明“不收费”“不用花钱”，但提出要加入(ru)群聊成为会员，他会在群内发(fa)布相关操作指南和课程(cheng)。

此(ci)外，在多个网购平台、二(er)手交易平台，AI“克隆人”商品也可以随意买到。记者在某网购平台检索(suo)“AI换脸”，显示搜索(suo)结果不存在，但更换关键词(ci)为“AI换人脸视频软(ruan)件”后，立刻出现多款此(ci)类商品，价格从几元到上百元不等。

记者点(dian)进一款名为“AI数字(zi)人生成软(ruan)件短(duan)视频制作对口型形象声音(yin)克隆定制AI分身”的商品，咨询店主后对方回复称2分钟(zhong)左右(you)就可以生成好。下单后客服会一对一服务学会使用为止。随即，对方发(fa)来一个标价为98元的下单链接，称这(zhe)是(shi)购买该软(ruan)件的月卡，可以制作约30秒以内的视频32个，“短(duan)视频养号一个月足以快速起号”。

除了直(zhi)接售卖AI换脸技术外，还有人瞄准了AI“克隆人”的不法“商机”。滥用AI换脸技术行不法之实的事件屡有发(fa)生。

据办(ban)案民警介绍，一些不法分子利用AI技术，将他人的脸换成熟人或亲人的脸，冒充诈骗对象的重要关系人，通过合成视频或照片来“以假乱真”，扰乱被诈骗对象的视线进而实施诈骗。“如果通过AI换脸技术编造险情(qing)、灾情(qing)等，还有可能构成编造、故意传播虚假信息罪。”北京(jing)盈科(上海(hai))律师事务所(suo)数智化建设委员会副主任李悦举(ju)例说，前一阵子的“西藏小男孩被埋图”，虽然使用的AIGC技术不是(shi)深度合成AI换脸，但也是(shi)使用AI技术。据了解，该行为人已被追究行政责任。如果其情(qing)节更严(yan)重的话，或构成编造、故意传播虚假信息罪。　　

明确AI应用范围和法律边界

对AI生成内容进行标识　　

随着AI合成技术的广(guang)泛(fan)应用，我(wo)们又该如何(he)防范AI深度合成音(yin)视频侵权甚至犯罪的问题(ti)呢?中国网络空间安全协会人工智能安全治理专业委员会专家薛智慧表示，从技术角度来说，其实可以利用AI技术来对抗跟检测AI。当前也有一些典型的AI技术，能够对这(zhe)些图片或者音(yin)视频进行检测，来判断或者分析这(zhe)些图片是(shi)否后期加工和合成的。

“滥用AI技术实施犯罪行为往往与传统犯罪行为(如电信诈骗、传播网络谣言等)相结合，需要公安机关联合各大网络平台采取更为直(zhi)接、有效的治理措施。”北京(jing)航空航天(tian)大学法学院副教授赵(zhao)精武说。

为此(ci)，他建议构建多元主体协同治理的体系架构:公安机关与网信、工信等部门联动执(zhi)法，全方位、全环(huan)节整治和打击(ji)涉(she)AI犯罪活动和网络黑灰产业链；执(zhi)法部门同步更新监管技术，推动人工智能技术在刑事侦查等领域的应用，进而更高效、更精准地打击(ji)滥用AI犯罪活动；网络平台积极落实平台主体责任，积极配(pei)合执(zhi)法活动，严(yan)格落实网络实名制和黑名单制度，严(yan)防各类犯罪行为人通过更换账号登录方式躲避平台监管。

李悦建议，立法方面，需明确定义深度合成技术的应用范围和法律边界，细化平台、技术提供商、内容制作者及用户的法律责任。同时，加大对利用AI技术实施犯罪行为的刑事处罚力度，并完善针对AI合成视频的证据规(gui)则，明确其法律效力。

“技术方面，推广(guang)AI合成视频的检测工具和溯源技术，研发(fa)高效、低成本的检测服务，并向公众(zhong)开放。利用水印技术对AI生成内容进行标识，便于追踪和识别。”李悦说，此(ci)外，可以建立AI企业备案制度，加强对企业资质、数据安全和算法透明度的监管。　

综合法治日报、央视新闻客户端

制图:李思(si)萌(即梦AI)　何(he)欣