中央网(wang)信办相(xiang)关部门负责人表示，将有序推进“清朗”系列专项(xiang)行动各项(xiang)任务，同时，也会根(gen)据实际情况(kuang)需(xu)要增加重点整治内容。将进一步压实各方主体责任，持续净(jing)化信息内容、规范功能服务，确保整治工作取得实效，推动网(wang)络生态(tai)持续向好。　　

南都聚(ju)焦AI技术滥(lan)用

“公众从源头参与(yu)是解决方案”　　

AI技术滥(lan)用乱象成为今年重点整治对象之一。中央网(wang)信办具体要求，要突出(chu)AI技术管理和(he)信息内容管理，强化生成合成内容标识，打击借AI技术生成发布虚假信息、实施网(wang)络水军行为等问(wen)题，规范AI类应用网(wang)络生态(tai)。

南都大数据研究院持续关注AI治理，近期推出(chu)“AI新治向”专题报道。其中，通过数据分析(xi)，解读2024年全球AI风(feng)险事件，关注AI幻觉、深度合成技术滥(lan)用等AI应用安全风(feng)险。

此(ci)外，还梳理2024年国内AI风(feng)险主要舆(yu)情案例(li)，聚(ju)焦AI造谣这一AI技术滥(lan)用乱象，探讨治理路(lu)径。报道发现，当(dang)前利用AI技术造谣日趋频繁。据南都大数据研究院不完全统计，2024年搜(sou)索(suo)热度较(jiao)高的50个国内AI风(feng)险相(xiang)关舆(yu)情案例(li)中，超1/5与(yu)AI造谣有关。AI工具普及的同时，也带来造谣成本大幅降低的问(wen)题，且增加了谣言的真实感。仅需(xu)输(shu)入简单的关键词，有AI软件便可通过网(wang)络抓取相(xiang)关素材，自动生成包含时间、地(di)点、人物和(he)事件等要素的文本或视频，呈(cheng)现出(chu)看似真实的“新闻”内容。AI大模型的接入，也可能出(chu)现更(geng)难识别以社交机器人为代表的新型网(wang)络水军的情况(kuang)。用AI“批量化”生产谣言，甚至已成为一种牟利手段，警方曾通报某MCN机构，组织(zhi)团队利用AI工具批量生成虚假消息，单日产量高达4000至7000篇(pian)，日均收入超过1万元。

专家则提到，在通过技术和(he)法律手段治理AI造谣乱象的同时，公众从源头参与(yu)AI治理是长期解决方案。

采写:南都记者 陈(chen)袁

案例(li)

“AI换脸”成了生意 以假乱真骗了家人

专家:AI可检测AI，应多元主体协同打击涉AI犯罪(zui)

随着AI技术发展，AI换脸图片和(he)视频成为热门现象，娱乐(le)之余，让人真假莫辨，风(feng)险与(yu)困扰也不少。记者近日调查发现，互联(lian)网(wang)上，不仅有人随意兜售AI合成软件，“手把(ba)手教学”，使得制作生成AI“克隆(long)人”视频的技术成了一门生意。更(geng)有甚者，滥(lan)用AI换脸技术走上了违法犯罪(zui)的道路(lu)。　　

几元到上百元不等可“AI换脸”

滥(lan)用技术实施诈骗屡屡发生　　

“视频里在海边游玩的不是我，而是我的数字人分身。你跟(gen)着我操作，就能定(ding)制自己的数字人，轻松实现视频流量起号……”在社交平(ping)台、短视频平(ping)台上，类似以AI数字人、“克隆(long)人”视频引流的帖子有很多。

记者就制作AI数字人的流程(cheng)咨询一博主。该博主在之前发帖中明确表明“不收费”“不用花钱”，但提出(chu)要加入群聊成为会员，他会在群内发布相(xiang)关操作指(zhi)南和(he)课程(cheng)。

此(ci)外，在多个网(wang)购平(ping)台、二手交易平(ping)台，AI“克隆(long)人”商(shang)品也可以随意买到。记者在某网(wang)购平(ping)台检索(suo)“AI换脸”，显示搜(sou)索(suo)结果不存在，但更(geng)换关键词为“AI换人脸视频软件”后，立刻出(chu)现多款此(ci)类商(shang)品，价格从几元到上百元不等。

记者点进一款名(ming)为“AI数字人生成软件短视频制作对口型形象声音克隆(long)定(ding)制AI分身”的商(shang)品，咨询店主后对方回复称2分钟左右就可以生成好。下单后客(ke)服会一对一服务学会使用为止。随即(ji)，对方发来一个标价为98元的下单链接，称这是购买该软件的月卡，可以制作约30秒以内的视频32个，“短视频养(yang)号一个月足以快速(su)起号”。

除了直接售卖AI换脸技术外，还有人瞄(miao)准了AI“克隆(long)人”的不法“商(shang)机”。滥(lan)用AI换脸技术行不法之实的事件屡有发生。

据办案民警介绍，一些不法分子利用AI技术，将他人的脸换成熟人或亲人的脸，冒充诈骗对象的重要关系人，通过合成视频或照片来“以假乱真”，扰乱被诈骗对象的视线进而实施诈骗。“如果通过AI换脸技术编造险情、灾情等，还有可能构成编造、故意传播虚假信息罪(zui)。”北京盈科(上海)律师事务所数智化建设委员会副主任李悦举例(li)说，前一阵子的“西藏小男孩被埋图”，虽(sui)然使用的AIGC技术不是深度合成AI换脸，但也是使用AI技术。据了解，该行为人已被追究行政责任。如果其情节(jie)更(geng)严重的话，或构成编造、故意传播虚假信息罪(zui)。　　

明确AI应用范围和(he)法律边界

对AI生成内容进行标识　　

随着AI合成技术的广泛(fan)应用，我们又该如何(he)防范AI深度合成音视频侵(qin)权甚至犯罪(zui)的问(wen)题呢?中国网(wang)络空间安全协会人工智能安全治理专业委员会专家薛智慧表示，从技术角度来说，其实可以利用AI技术来对抗(kang)跟(gen)检测AI。当(dang)前也有一些典型的AI技术，能够对这些图片或者音视频进行检测，来判断或者分析(xi)这些图片是否(fou)后期加工和(he)合成的。

“滥(lan)用AI技术实施犯罪(zui)行为往往与(yu)传统犯罪(zui)行为(如电信诈骗、传播网(wang)络谣言等)相(xiang)结合，需(xu)要公安机关联(lian)合各大网(wang)络平(ping)台采取更(geng)为直接、有效的治理措施。”北京航空航天大学法学院副教授赵精武说。

为此(ci)，他建议构建多元主体协同治理的体系架构:公安机关与(yu)网(wang)信、工信等部门联(lian)动执(zhi)法，全方位(wei)、全环节(jie)整治和(he)打击涉AI犯罪(zui)活动和(he)网(wang)络黑灰产业链；执(zhi)法部门同步更(geng)新监管技术，推动人工智能技术在刑事侦查等领域的应用，进而更(geng)高效、更(geng)精准地(di)打击滥(lan)用AI犯罪(zui)活动；网(wang)络平(ping)台积极(ji)落实平(ping)台主体责任，积极(ji)配合执(zhi)法活动，严格落实网(wang)络实名(ming)制和(he)黑名(ming)单制度，严防各类犯罪(zui)行为人通过更(geng)换账(zhang)号登录方式躲避(bi)平(ping)台监管。

李悦建议，立法方面(mian)，需(xu)明确定(ding)义深度合成技术的应用范围和(he)法律边界，细化平(ping)台、技术提供商(shang)、内容制作者及用户的法律责任。同时，加大对利用AI技术实施犯罪(zui)行为的刑事处罚力度，并完善针对AI合成视频的证据规则，明确其法律效力。

“技术方面(mian)，推广AI合成视频的检测工具和(he)溯源技术，研发高效、低成本的检测服务，并向公众开放。利用水印技术对AI生成内容进行标识，便于(yu)追踪和(he)识别。”李悦说，此(ci)外，可以建立AI企(qi)业备案制度，加强对企(qi)业资质、数据安全和(he)算法透明度的监管。　

综合法治日报、央视新闻客(ke)户端

制图:李思萌(即(ji)梦AI)　何(he)欣