中央网信(xin)办相(xiang)关(guan)部门负责人表示，将有序推进“清朗”系列专项行动各项任务，同时，也会根据实际情况需要增加重点整治内(nei)容。将进一(yi)步压(ya)实各方主体责任，持(chi)续净化(hua)信(xin)息内(nei)容、规(gui)范功能(neng)服务，确保整治工作取得实效，推动网络(luo)生态持(chi)续向好(hao)。　　

南都聚焦AI技术滥用

“公众(zhong)从源(yuan)头参与是解决方案”　　

AI技术滥用乱象(xiang)成为今年重点整治对象(xiang)之一(yi)。中央网信(xin)办具体要求，要突出AI技术管理和信(xin)息内(nei)容管理，强化(hua)生成合(he)成内(nei)容标(biao)识，打击借AI技术生成发布虚假信(xin)息、实施网络(luo)水军行为等(deng)问题(ti)，规(gui)范AI类应用网络(luo)生态。

南都大数据研究院持(chi)续关(guan)注AI治理，近期推出“AI新治向”专题(ti)报道。其中，通过数据分析，解读2024年全球(qiu)AI风险事件，关(guan)注AI幻觉(jue)、深度(du)合(he)成技术滥用等(deng)AI应用安全风险。

此外(wai)，还(hai)梳理2024年国内(nei)AI风险主要舆(yu)情案例，聚焦AI造谣这一(yi)AI技术滥用乱象(xiang)，探讨治理路(lu)径。报道发现，当前利用AI技术造谣日趋频繁(fan)。据南都大数据研究院不完全统计，2024年搜索热度(du)较高的50个(ge)国内(nei)AI风险相(xiang)关(guan)舆(yu)情案例中，超1/5与AI造谣有关(guan)。AI工具普及的同时，也带来造谣成本大幅降(jiang)低(di)的问题(ti)，且增加了谣言的真(zhen)实感(gan)。仅需输入简单(dan)的关(guan)键词，有AI软件便可通过网络(luo)抓取相(xiang)关(guan)素材，自动生成包含时间、地点、人物和事件等(deng)要素的文本或(huo)视频，呈现出看(kan)似真(zhen)实的“新闻(wen)”内(nei)容。AI大模(mo)型的接入，也可能(neng)出现更难识别以社交机(ji)器人为代表的新型网络(luo)水军的情况。用AI“批量化(hua)”生产谣言，甚(shen)至已成为一(yi)种牟利手段，警(jing)方曾通报某MCN机(ji)构，组织团队利用AI工具批量生成虚假消息，单(dan)日产量高达4000至7000篇，日均收入超过1万元。

专家则提(ti)到，在通过技术和法律(lu)手段治理AI造谣乱象(xiang)的同时，公众(zhong)从源(yuan)头参与AI治理是长期解决方案。

采写:南都记者(zhe) 陈袁

案例

“AI换脸”成了生意 以假乱真(zhen)骗了家人

专家:AI可检(jian)测AI，应多(duo)元主体协同打击涉AI犯罪

随着(zhe)AI技术发展，AI换脸图片和视频成为热门现象(xiang)，娱乐之余，让人真(zhen)假莫辨(bian)，风险与困扰也不少(shao)。记者(zhe)近日调查发现，互联网上，不仅有人随意兜售AI合(he)成软件，“手把手教学(xue)”，使得制作生成AI“克隆人”视频的技术成了一(yi)门生意。更有甚(shen)者(zhe)，滥用AI换脸技术走上了违法犯罪的道路(lu)。　　

几元到上百元不等(deng)可“AI换脸”

滥用技术实施诈骗屡屡发生　　

“视频里在海边游玩的不是我(wo)，而是我(wo)的数字人分身。你跟着(zhe)我(wo)操(cao)作，就能(neng)定制自己的数字人，轻松实现视频流(liu)量起号……”在社交平台、短视频平台上，类似以AI数字人、“克隆人”视频引流(liu)的帖子有很多(duo)。

记者(zhe)就制作AI数字人的流(liu)程(cheng)咨询一(yi)博主。该(gai)博主在之前发帖中明确表明“不收费”“不用花钱”，但提(ti)出要加入群(qun)聊成为会员，他会在群(qun)内(nei)发布相(xiang)关(guan)操(cao)作指南和课程(cheng)。

此外(wai)，在多(duo)个(ge)网购平台、二手交易平台，AI“克隆人”商品也可以随意买到。记者(zhe)在某网购平台检(jian)索“AI换脸”，显示搜索结果(guo)不存在，但更换关(guan)键词为“AI换人脸视频软件”后，立刻出现多(duo)款(kuan)此类商品，价格从几元到上百元不等(deng)。

记者(zhe)点进一(yi)款(kuan)名为“AI数字人生成软件短视频制作对口(kou)型形(xing)象(xiang)声音克隆定制AI分身”的商品，咨询店主后对方回复(fu)称2分钟(zhong)左右就可以生成好(hao)。下单(dan)后客服会一(yi)对一(yi)服务学(xue)会使用为止。随即，对方发来一(yi)个(ge)标(biao)价为98元的下单(dan)链接，称这是购买该(gai)软件的月卡，可以制作约(yue)30秒以内(nei)的视频32个(ge)，“短视频养号一(yi)个(ge)月足(zu)以快速起号”。

除了直接售卖AI换脸技术外(wai)，还(hai)有人瞄准了AI“克隆人”的不法“商机(ji)”。滥用AI换脸技术行不法之实的事件屡有发生。

据办案民警(jing)介绍，一(yi)些不法分子利用AI技术，将他人的脸换成熟人或(huo)亲人的脸，冒充诈骗对象(xiang)的重要关(guan)系人，通过合(he)成视频或(huo)照片来“以假乱真(zhen)”，扰乱被诈骗对象(xiang)的视线进而实施诈骗。“如果(guo)通过AI换脸技术编造险情、灾情等(deng)，还(hai)有可能(neng)构成编造、故意传(chuan)播虚假信(xin)息罪。”北京盈科(上海)律(lu)师事务所(suo)数智化(hua)建设委(wei)员会副主任李悦举例说，前一(yi)阵子的“西(xi)藏小男孩被埋图”，虽然使用的AIGC技术不是深度(du)合(he)成AI换脸，但也是使用AI技术。据了解，该(gai)行为人已被追究行政责任。如果(guo)其情节更严重的话，或(huo)构成编造、故意传(chuan)播虚假信(xin)息罪。　　

明确AI应用范围和法律(lu)边界(jie)

对AI生成内(nei)容进行标(biao)识　　

随着(zhe)AI合(he)成技术的广泛应用，我(wo)们又该(gai)如何防(fang)范AI深度(du)合(he)成音视频侵权甚(shen)至犯罪的问题(ti)呢?中国网络(luo)空间安全协会人工智能(neng)安全治理专业委(wei)员会专家薛智慧表示，从技术角度(du)来说，其实可以利用AI技术来对抗跟检(jian)测AI。当前也有一(yi)些典型的AI技术，能(neng)够对这些图片或(huo)者(zhe)音视频进行检(jian)测，来判断或(huo)者(zhe)分析这些图片是否后期加工和合(he)成的。

“滥用AI技术实施犯罪行为往往与传(chuan)统犯罪行为(如电信(xin)诈骗、传(chuan)播网络(luo)谣言等(deng))相(xiang)结合(he)，需要公安机(ji)关(guan)联合(he)各大网络(luo)平台采取更为直接、有效的治理措施。”北京航空航天大学(xue)法学(xue)院副教授赵精武说。

为此，他建议(yi)构建多(duo)元主体协同治理的体系架构:公安机(ji)关(guan)与网信(xin)、工信(xin)等(deng)部门联动执法，全方位、全环节整治和打击涉AI犯罪活动和网络(luo)黑灰产业链；执法部门同步更新监管技术，推动人工智能(neng)技术在刑事侦查等(deng)领(ling)域的应用，进而更高效、更精准地打击滥用AI犯罪活动；网络(luo)平台积极落实平台主体责任，积极配合(he)执法活动，严格落实网络(luo)实名制和黑名单(dan)制度(du)，严防(fang)各类犯罪行为人通过更换账号登录方式躲避平台监管。

李悦建议(yi)，立法方面，需明确定义深度(du)合(he)成技术的应用范围和法律(lu)边界(jie)，细化(hua)平台、技术提(ti)供商、内(nei)容制作者(zhe)及用户的法律(lu)责任。同时，加大对利用AI技术实施犯罪行为的刑事处罚力(li)度(du)，并完善针对AI合(he)成视频的证据规(gui)则，明确其法律(lu)效力(li)。

“技术方面，推广AI合(he)成视频的检(jian)测工具和溯源(yuan)技术，研发高效、低(di)成本的检(jian)测服务，并向公众(zhong)开放。利用水印技术对AI生成内(nei)容进行标(biao)识，便于追踪和识别。”李悦说，此外(wai)，可以建立AI企业备案制度(du)，加强对企业资质(zhi)、数据安全和算法透明度(du)的监管。　

综合(he)法治日报、央视新闻(wen)客户端

制图:李思萌(即梦AI)　何欣