中央网(wang)信办相关(guan)部门负责人表示，将有序推进“清朗”系列专项行动各项任务(wu)，同(tong)时，也会(hui)根据实际(ji)情(qing)况需要增加重点(dian)整治(zhi)内容。将进一步压(ya)实各方主(zhu)体责任，持续净化(hua)信息内容、规范功能服务(wu)，确保整治(zhi)工作取得实效，推动网(wang)络生态持续向好。　　

南(nan)都聚焦AI技术(shu)滥用

“公(gong)众从源头(tou)参与是解决方案(an)”　　

AI技术(shu)滥用乱象成为今年重点(dian)整治(zhi)对象之一。中央网(wang)信办具(ju)体要求(qiu)，要突出AI技术(shu)管(guan)理和信息内容管(guan)理，强化(hua)生成合(he)成内容标识，打击借AI技术(shu)生成发布虚假信息、实施网(wang)络水军行为等问题(ti)，规范AI类应用网(wang)络生态。

南(nan)都大数据研究院持续关(guan)注AI治(zhi)理，近(jin)期推出“AI新治(zhi)向”专题(ti)报道。其中，通过数据分(fen)析，解读2024年全球(qiu)AI风险事件(jian)，关(guan)注AI幻觉、深(shen)度合(he)成技术(shu)滥用等AI应用安全风险。

此外，还梳理2024年国内AI风险主(zhu)要舆情(qing)案(an)例，聚焦AI造谣(yao)这一AI技术(shu)滥用乱象，探讨(tao)治(zhi)理路径。报道发现，当前(qian)利用AI技术(shu)造谣(yao)日趋(qu)频(pin)繁。据南(nan)都大数据研究院不完全统计，2024年搜索热(re)度较高的50个国内AI风险相关(guan)舆情(qing)案(an)例中，超1/5与AI造谣(yao)有关(guan)。AI工具(ju)普及的同(tong)时，也带来造谣(yao)成本大幅降低的问题(ti)，且(qie)增加了谣(yao)言(yan)的真(zhen)实感。仅需输(shu)入简单的关(guan)键词，有AI软件(jian)便可通过网(wang)络抓取相关(guan)素材，自动生成包含(han)时间、地点(dian)、人物和事件(jian)等要素的文本或(huo)视频(pin)，呈现出看似(si)真(zhen)实的“新闻”内容。AI大模型的接入，也可能出现更难识别以(yi)社交(jiao)机器人为代表的新型网(wang)络水军的情(qing)况。用AI“批量化(hua)”生产谣(yao)言(yan)，甚至已成为一种牟利手段，警方曾通报某(mou)MCN机构，组织团队(dui)利用AI工具(ju)批量生成虚假消(xiao)息，单日产量高达4000至7000篇，日均收入超过1万元。

专家则提到，在通过技术(shu)和法律手段治(zhi)理AI造谣(yao)乱象的同(tong)时，公(gong)众从源头(tou)参与AI治(zhi)理是长期解决方案(an)。

采写:南(nan)都记者 陈袁

案(an)例

“AI换脸”成了生意 以(yi)假乱真(zhen)骗了家人

专家:AI可检测AI，应多元主(zhu)体协同(tong)打击涉(she)AI犯罪

随着AI技术(shu)发展，AI换脸图片和视频(pin)成为热(re)门现象，娱乐之余，让人真(zhen)假莫辨，风险与困(kun)扰(rao)也不少。记者近(jin)日调查发现，互联(lian)网(wang)上，不仅有人随意兜(dou)售AI合(he)成软件(jian)，“手把(ba)手教学”，使得制作生成AI“克(ke)隆人”视频(pin)的技术(shu)成了一门生意。更有甚者，滥用AI换脸技术(shu)走上了违法犯罪的道路。　　

几元到上百元不等可“AI换脸”

滥用技术(shu)实施诈骗屡屡发生　　

“视频(pin)里在海边游玩的不是我，而是我的数字人分(fen)身。你跟着我操作，就(jiu)能定制自己的数字人，轻松实现视频(pin)流量起号……”在社交(jiao)平台、短视频(pin)平台上，类似(si)以(yi)AI数字人、“克(ke)隆人”视频(pin)引流的帖子有很多。

记者就(jiu)制作AI数字人的流程咨询一博主(zhu)。该博主(zhu)在之前(qian)发帖中明确表明“不收费”“不用花钱”，但提出要加入群聊成为会(hui)员，他会(hui)在群内发布相关(guan)操作指南(nan)和课程。

此外，在多个网(wang)购(gou)平台、二手交(jiao)易平台，AI“克(ke)隆人”商品也可以(yi)随意买(mai)到。记者在某(mou)网(wang)购(gou)平台检索“AI换脸”，显示搜索结(jie)果不存在，但更换关(guan)键词为“AI换人脸视频(pin)软件(jian)”后，立刻出现多款此类商品，价格从几元到上百元不等。

记者点(dian)进一款名为“AI数字人生成软件(jian)短视频(pin)制作对口型形象声音克(ke)隆定制AI分(fen)身”的商品，咨询店主(zhu)后对方回复称2分(fen)钟(zhong)左右(you)就(jiu)可以(yi)生成好。下单后客服会(hui)一对一服务(wu)学会(hui)使用为止。随即，对方发来一个标价为98元的下单链接，称这是购(gou)买(mai)该软件(jian)的月卡，可以(yi)制作约30秒以(yi)内的视频(pin)32个，“短视频(pin)养号一个月足(zu)以(yi)快速起号”。

除了直(zhi)接售卖AI换脸技术(shu)外，还有人瞄准了AI“克(ke)隆人”的不法“商机”。滥用AI换脸技术(shu)行不法之实的事件(jian)屡有发生。

据办案(an)民警介(jie)绍，一些不法分(fen)子利用AI技术(shu)，将他人的脸换成熟人或(huo)亲人的脸，冒充诈骗对象的重要关(guan)系人，通过合(he)成视频(pin)或(huo)照(zhao)片来“以(yi)假乱真(zhen)”，扰(rao)乱被诈骗对象的视线进而实施诈骗。“如果通过AI换脸技术(shu)编造险情(qing)、灾情(qing)等，还有可能构成编造、故意传播虚假信息罪。”北(bei)京盈科(上海)律师事务(wu)所数智化(hua)建设委员会(hui)副主(zhu)任李悦(yue)举例说，前(qian)一阵子的“西藏小男孩被埋图”，虽(sui)然使用的AIGC技术(shu)不是深(shen)度合(he)成AI换脸，但也是使用AI技术(shu)。据了解，该行为人已被追究行政责任。如果其情(qing)节更严重的话，或(huo)构成编造、故意传播虚假信息罪。　　

明确AI应用范围和法律边界

对AI生成内容进行标识　　

随着AI合(he)成技术(shu)的广泛(fan)应用，我们(men)又该如何防范AI深(shen)度合(he)成音视频(pin)侵(qin)权甚至犯罪的问题(ti)呢?中国网(wang)络空间安全协会(hui)人工智能安全治(zhi)理专业(ye)委员会(hui)专家薛智慧表示，从技术(shu)角度来说，其实可以(yi)利用AI技术(shu)来对抗跟检测AI。当前(qian)也有一些典(dian)型的AI技术(shu)，能够对这些图片或(huo)者音视频(pin)进行检测，来判断或(huo)者分(fen)析这些图片是否后期加工和合(he)成的。

“滥用AI技术(shu)实施犯罪行为往往与传统犯罪行为(如电信诈骗、传播网(wang)络谣(yao)言(yan)等)相结(jie)合(he)，需要公(gong)安机关(guan)联(lian)合(he)各大网(wang)络平台采取更为直(zhi)接、有效的治(zhi)理措施。”北(bei)京航(hang)空航(hang)天大学法学院副教授(shou)赵精武(wu)说。

为此，他建议构建多元主(zhu)体协同(tong)治(zhi)理的体系架构:公(gong)安机关(guan)与网(wang)信、工信等部门联(lian)动执法，全方位、全环(huan)节整治(zhi)和打击涉(she)AI犯罪活动和网(wang)络黑(hei)灰产业(ye)链；执法部门同(tong)步更新监管(guan)技术(shu)，推动人工智能技术(shu)在刑事侦查等领域的应用，进而更高效、更精准地打击滥用AI犯罪活动；网(wang)络平台积极落实平台主(zhu)体责任，积极配合(he)执法活动，严格落实网(wang)络实名制和黑(hei)名单制度，严防各类犯罪行为人通过更换账号登录方式躲避平台监管(guan)。

李悦(yue)建议，立法方面，需明确定义深(shen)度合(he)成技术(shu)的应用范围和法律边界，细化(hua)平台、技术(shu)提供商、内容制作者及用户的法律责任。同(tong)时，加大对利用AI技术(shu)实施犯罪行为的刑事处罚力度，并完善针对AI合(he)成视频(pin)的证据规则，明确其法律效力。

“技术(shu)方面，推广AI合(he)成视频(pin)的检测工具(ju)和溯源技术(shu)，研发高效、低成本的检测服务(wu)，并向公(gong)众开放(fang)。利用水印技术(shu)对AI生成内容进行标识，便于追踪和识别。”李悦(yue)说，此外，可以(yi)建立AI企(qi)业(ye)备案(an)制度，加强对企(qi)业(ye)资质、数据安全和算法透明度的监管(guan)。　

综合(he)法治(zhi)日报、央视新闻客户端

制图:李思萌(即梦AI)　何欣