新(xin)治(zhi)理难题：

AI造谣日趋频繁(fan)

其实早在2024年11月，这张全网热(re)传(chuan)的被(bei)压在废墟下的儿(er)童图片已出现在社交媒体上，其创作者当(dang)时注明(ming)该图是由AI生成。

地震发(fa)生后，这张图被(bei)大量自媒体转发(fa)，但图片系AI生成的附注却消失不见，还带上了日喀则地震相关(guan)词(ci)条，以及“祈(qi)祷震区朋友们平安无事”等文案。这种拼接让观众误以为图片是来自灾区的影像。发(fa)布账号通过赚取(qu)观众同情，获得流量。

如果说，这种AI造谣手段是将AI生成图片素材与地震信(xin)息肆意拼贴(tie)以误导观众，另一种AI造谣方式(shi)，则是直接利(li)用AI“无中生有”，由AI根据已有素材或者相关(guan)提示词(ci)，直接生成文本、图片及视频等虚假新(xin)闻内(nei)容。

同样(yang)在今年1月，美国加州山火(huo)肆虐。1月12日，国内(nei)社交媒体上开始流传(chuan)山火(huo)已蔓延到好莱坞的相关(guan)图片和视频。视频中，洛杉矶市郊(jiao)山顶已经被(bei)大火(huo)吞噬，著名地标(biao)“好莱坞”（HOLLYWOOD）广(guang)告牌矗立在一片火(huo)海中。许(xu)多网友信(xin)以为真。

事实上，据法新(xin)社驻洛杉矶记(ji)者现场(chang)确认，“好莱坞”未见损毁；全球火(huo)情监测系统FIRMS的地图上，也未显示该地附近有火(huo)情发(fa)生。“好莱坞”燃烧(shao)的视频和图片，其实是由AI生成的，最早出现在国外“X”平台上，然后被(bei)国内(nei)自媒体搬运，在社交平台上广(guang)泛转载传(chuan)播。

利(li)用AI技(ji)术造谣日趋频繁(fan)。南都大数(shu)据研究院通过爬取(qu)分析2024年百度新(xin)闻中搜索热(re)度较高的国内(nei)AI风险事件相关(guan)报(bao)道，统计出50个AI相关(guan)应(ying)用舆情案例，发(fa)现其中超(chao)1/5与AI造谣有关(guan)。2024年7月，四川警方通报(bao)了10起(qi)AI造谣典型案例，其中包括用AI生成“云南山体滑坡致8人遇(yu)难”的虚假新(xin)闻、伪造“喜德县地震”灾情图片，以及编造“巴中警民对峙”事件等。这些肉(rou)眼(yan)难辨的AI假新(xin)闻常见于备受关(guan)注的议题，很容易挑起(qi)观众情绪。

用AI“批(pi)量化”生产谣言，甚至已成为一种牟利(li)手段。2024年4月，公安部通报(bao)了一起(qi)MCN机构利(li)用AI造谣的案例，江西男子王某江经营5家MCN机构，运营自媒体账号842个，组织团(tuan)队(dui)利(li)用AI工具批(pi)量生成虚假消息，单日产量高达(da)4000至7000篇，其中一条最高收入可达(da)700元，日均收入超(chao)过1万元。

当(dang)下，AI工具的普及大幅降低了造谣成本，仅需输入简单的关(guan)键词(ci)，AI软件便可通过网络抓取(qu)相关(guan)素材，自动生成包含(han)时间、地点、人物和事件等要素的文本或视频，呈现出看似真实的“新(xin)闻”内(nei)容。可以说，AI技(ji)术的应(ying)用，给网络信(xin)息生态带来了新(xin)的治(zhi)理难题。

AI造谣治(zhi)理：

提升AI素养是长期解决方案

AI造谣治(zhi)理：

提升AI素养是长期解决方案

从内(nei)容生产层面来看，AI技(ji)术大大降低了谣言的编造门槛。“有图有真相”根本难不倒(dao)它，何止图片，借助AI工具，编造音视频内(nei)容也能信(xin)手拈来。AI生产出的逼真影像，第(di)一时间冲(chong)击观众的感官系统，情感驱动人们对内(nei)容做出直接反(fan)应(ying)，从而忘记(ji)了冷静思考，助力谣言传(chuan)播。

此外，社交媒体上存在大量的“社交机器人”，能够快速、大规模地发(fa)布和转发(fa)内(nei)容，迅速放(fang)大虚假信(xin)息的传(chuan)播范围和速度，还可以通过大量发(fa)布特定观点或情感化内(nei)容，影响公众对事件的看法，甚至改变舆论走向。以往社交机器人往往比较粗浅(qian)和简单，较容易与真人区分，但当(dang)它们接入AI大模型，社交机器人生产的信(xin)息将越来越像人类创作的内(nei)容，转发(fa)、评(ping)论等互动表现也与真实用户几近一致，变得难以辨别。

目前，针对AI造谣已有一些应(ying)对措施。国家已制定了一系列明(ming)确的法律(lu)法规，对AI造谣行为进行规制和监管，例如《网络音视频信(xin)息服务管理规定》《互联网信(xin)息服务深度合成管理规定》《生成式(shi)人工智能服务管理办(ban)法》等，均对深度合成技(ji)术生产的内(nei)容提出了监管要求，包括不得用于制作、发(fa)布、传(chuan)播虚假新(xin)闻信(xin)息，制作、发(fa)布、传(chuan)播非真实音视频信(xin)息应(ying)当(dang)以显著方式(shi)标(biao)识。2024年9月国家互联网信(xin)息办(ban)公室发(fa)布《人工智能生成合成内(nei)容标(biao)识办(ban)法（征求意见稿）》，全国网安标(biao)委同时发(fa)布了配套的《网络安全技(ji)术人工智能生成合成内(nei)容标(biao)识方法》，拟规定在技(ji)术层面对AI生成内(nei)容进行标(biao)识。

平台层面，一些社交媒体平台加强内(nei)容审核机制，对AI生成内(nei)容进行标(biao)识和提示。如小(xiao)红书启动了AIGC治(zhi)理体系建设，对识别为疑似AI生成的内(nei)容进行显著标(biao)识；抖音陆续发(fa)布了《关(guan)于人工智能生成内(nei)容的平台规范暨行业倡议》《AI生成虚拟人物治(zhi)理公告》等一系列公告，并持续对多种AIGC造假内(nei)容进行严厉(li)打击。

此外，还可“用魔法打败魔法”，即用AI检测AI生成内(nei)容。国内(nei)已有多个团(tuan)队(dui)正在投入开发(fa)AI生成内(nei)容检测技(ji)术，例如腾讯混元安全团(tuan)队(dui)朱雀(que)实验室研发(fa)了一款AI生成图片检测系统，通过AI模型来捕(bu)捉真实图片与AI生图之间各类特征的差异，包括图片的纹理、语义及隐形特征等进行区分，腾讯称最终测试检出率达(da)95%以上。

在上海交通大学(xue)国际与公共(gong)事务学(xue)院长聘副教授贾开看来，虽然可以通过技(ji)术手段治(zhi)理AI合成虚假新(xin)闻的问题，但这只是短期的解决方案，长期来看，仍需要提高人的素质和AI伦理意识。

从地震被(bei)压儿(er)童和好莱坞大火(huo)两个案例来看，AI生成内(nei)容并非没有破绽。废墟掩埋的儿(er)童长有6根手指；好莱坞标(biao)志牌上有的多了一个字母(mu)“L”，有的则多了字母(mu)“O”，这些明(ming)显的错漏均符(fu)合AI生成内(nei)容的显著特征，但并未引起(qi)人们的关(guan)注。甚至有的好莱坞燃烧(shao)图片下角还带有“Grok AI”的水印，表明(ming)其由马斯(si)克旗下公司xAI开发(fa)的人工智能工具生成，也被(bei)不少(shao)观众忽略。

一直以来，提高媒介素养与信(xin)息辨别能力都是网络生态治(zhi)理的关(guan)键，进入AI时代亦是如此。正如贾开所言：“我们不能仅仅依赖技(ji)术或制度手段来应(ying)对AI生成虚假信(xin)息，人的教育和意识提升才是关(guan)键，这是一个更长期的，久久为功的方式(shi)。”

专家意见：

公众源头参与是AI治(zhi)理关(guan)键

专家意见：

公众源头参与是AI治(zhi)理关(guan)键

AI的不当(dang)应(ying)用，除了会带来虚假信(xin)息泛滥，更有违(wei)法侵权，引发(fa)道德伦理争(zheng)议等风险。据南都大数(shu)据研究院不完全统计，在上述50个国内(nei)AI舆情案例中，近半数(shu)涉及侵权违(wei)法行为，常见案例包括利(li)用AI造谣扰乱社会秩序，触犯《中华人民共(gong)和国治(zhi)安管理处罚法》；深度合成技(ji)术被(bei)用于诈骗，触犯《中华人民共(gong)和国刑法》；以及未经他人许(xu)可使用AI换脸技(ji)术，侵犯公民肖(xiao)像权等。还有24%涉及伦理道德争(zheng)议，“AI复活”和“AI恋人”是其中的代表性案例。

AI应(ying)用带来的风险是复杂且(qie)多维的，在贾开看来，主要分为三个层面。首(shou)先是已被(bei)广(guang)泛讨论的算法治(zhi)理问题，包括算法黑箱、公平性、劳动替代和虚假信(xin)息等。其次是技(ji)术发(fa)展本身的问题，特别是AI生成过程中可能出现的结构性失衡。例如，大模型训练需要大量资源，许(xu)多公共(gong)机构和普通研究者难以获取(qu)，这可能导致技(ji)术的集(ji)中化和垄(long)断，加剧公共(gong)与私(si)营部门之间的不平衡，进而影响AI应(ying)用的普惠性，限制其潜力的发(fa)挥。第(di)三个层面则是人的发(fa)展问题，AI技(ji)术和产品(pin)的发(fa)展是一个动态完善的过程，人们无法预知和完全消除其带来的所有风险。如果人的能力、意识滞(zhi)后于技(ji)术发(fa)展，尤其是开发(fa)者在智力、安全意识方面滞(zhi)后，这可能会带来更大的风险。

而对于AI治(zhi)理机制，贾开认为，在AI时代，不再会有绝对安全的技(ji)术标(biao)准。因此，除了制定标(biao)准，AI治(zhi)理机制还必须包括接受者、被(bei)影响者以及其他利(li)益相关(guan)方的参与。换句话(hua)说，普通公众在这个过程中扮演的角色变得尤为重要。但在当(dang)下，人在技(ji)术应(ying)用的过程中，如何提升能力，思维如何跟上技(ji)术发(fa)展，如何增强AI伦理教育、提升AI治(zhi)理意识，往往是被(bei)AI治(zhi)理所忽略的重要问题。

普通公众如何参与AI治(zhi)理？贾开认为，首(shou)先需要意识到AI的变革已经开始并将持续发(fa)展，应(ying)该积极接受并拥(yong)抱这种变化。从行为上，公众应(ying)当(dang)更加积极地参与AI的发(fa)展，不仅仅是将AI视为一个技(ji)术工具接受，更需要参与到AI技(ji)术的演化过程中，同时，制度上也应(ying)为公众提供参与的空间。例如大模型开源虽然会有很多的争(zheng)议和风险，却可以使普通公众也能接触和参与AI的研发(fa)。“在当(dang)前时代，公众的参与价(jia)值非常高，甚至比技(ji)术的进步本身更为重要。参与不仅仅是接受产品(pin)，更是从源头上参与，推动技(ji)术与社会需求的对接。”

出品(pin)：南都大数(shu)据研究院

策(ce)划：王卫国 邹(zou)莹

统筹：张纯 张雨(yu)亭

采写：见习记(ji)者 陈袁

设计：欧阳静