新治理难题：

AI造谣日趋频繁

其(qi)实早在2024年11月，这张全(quan)网热传的被压在废墟下的儿童(tong)图片已出现在社交媒体(ti)上，其(qi)创作者当时注明该图是(shi)由AI生成。

地震发(fa)生后，这张图被大量自媒体(ti)转发(fa)，但图片系AI生成的附(fu)注却消失不见，还带上了(le)日喀则地震相关词(ci)条，以及“祈祷(dao)震区朋(peng)友们平安无事”等文案。这种拼接让观众误以为图片是(shi)来自灾区的影像。发(fa)布(bu)账号通过赚取观众同情，获得流量。

如果说，这种AI造谣手段是(shi)将AI生成图片素材与地震信息肆意拼贴以误导观众，另一种AI造谣方式，则是(shi)直接利用AI“无中生有”，由AI根据已有素材或者相关提示词(ci)，直接生成文本、图片及视频等虚假新闻(wen)内容。

同样在今年1月，美国(guo)加州山火肆虐。1月12日，国(guo)内社交媒体(ti)上开始流传山火已蔓延到(dao)好(hao)莱坞的相关图片和(he)视频。视频中，洛杉矶市郊山顶已经被大火吞噬，著名地标“好(hao)莱坞”（HOLLYWOOD）广告牌矗立在一片火海中。许多网友信以为真。

事实上，据法新社驻洛杉矶记(ji)者现场确认，“好(hao)莱坞”未见损毁；全(quan)球(qiu)火情监(jian)测系统FIRMS的地图上，也未显示该地附(fu)近有火情发(fa)生。“好(hao)莱坞”燃(ran)烧(shao)的视频和(he)图片，其(qi)实是(shi)由AI生成的，最早出现在国(guo)外“X”平台上，然后被国(guo)内自媒体(ti)搬运，在社交平台上广泛转载传播。

利用AI技术造谣日趋频繁。南都大数据研究院通过爬取分析2024年百度新闻(wen)中搜索热度较高的国(guo)内AI风险(xian)事件相关报道，统计出50个AI相关应用舆情案例，发(fa)现其(qi)中超1/5与AI造谣有关。2024年7月，四川警方通报了(le)10起AI造谣典型案例，其(qi)中包括(kuo)用AI生成“云南山体(ti)滑坡致8人遇难”的虚假新闻(wen)、伪造“喜德县地震”灾情图片，以及编造“巴中警民对峙”事件等。这些肉眼难辨的AI假新闻(wen)常见于备(bei)受关注的议题，很容易挑起观众情绪(xu)。

用AI“批量化”生产谣言，甚至已成为一种牟利手段。2024年4月，公(gong)安部通报了(le)一起MCN机构利用AI造谣的案例，江西男子王某江经营5家MCN机构，运营自媒体(ti)账号842个，组织团(tuan)队利用AI工具(ju)批量生成虚假消息，单日产量高达4000至7000篇，其(qi)中一条最高收入可(ke)达700元(yuan)，日均收入超过1万元(yuan)。

当下，AI工具(ju)的普及大幅降低了(le)造谣成本，仅需输入简单的关键(jian)词(ci)，AI软件便可(ke)通过网络抓取相关素材，自动生成包含时间、地点、人物和(he)事件等要素的文本或视频，呈现出看似(si)真实的“新闻(wen)”内容。可(ke)以说，AI技术的应用，给(gei)网络信息生态带来了(le)新的治理难题。

AI造谣治理：

提升AI素养是(shi)长期解决方案

AI造谣治理：

提升AI素养是(shi)长期解决方案

从内容生产层面来看，AI技术大大降低了(le)谣言的编造门槛。“有图有真相”根本难不倒它，何止图片，借助AI工具(ju)，编造音视频内容也能信手拈来。AI生产出的逼真影像，第一时间冲(chong)击观众的感官系统，情感驱(qu)动人们对内容做出直接反应，从而忘记(ji)了(le)冷静思(si)考，助力(li)谣言传播。

此外，社交媒体(ti)上存在大量的“社交机器(qi)人”，能够快速、大规模地发(fa)布(bu)和(he)转发(fa)内容，迅速放大虚假信息的传播范围和(he)速度，还可(ke)以通过大量发(fa)布(bu)特(te)定观点或情感化内容，影响公(gong)众对事件的看法，甚至改变舆论走向。以往社交机器(qi)人往往比较粗浅(qian)和(he)简单，较容易与真人区分，但当它们接入AI大模型，社交机器(qi)人生产的信息将越来越像人类创作的内容，转发(fa)、评论等互动表(biao)现也与真实用户几近一致，变得难以辨别。

目前(qian)，针对AI造谣已有一些应对措施。国(guo)家已制定了(le)一系列(lie)明确的法律法规，对AI造谣行为进行规制和(he)监(jian)管，例如《网络音视频信息服(fu)务管理规定》《互联网信息服(fu)务深度合成管理规定》《生成式人工智(zhi)能服(fu)务管理办法》等，均对深度合成技术生产的内容提出了(le)监(jian)管要求，包括(kuo)不得用于制作、发(fa)布(bu)、传播虚假新闻(wen)信息，制作、发(fa)布(bu)、传播非真实音视频信息应当以显著方式标识。2024年9月国(guo)家互联网信息办公(gong)室(shi)发(fa)布(bu)《人工智(zhi)能生成合成内容标识办法（征求意见稿(gao)）》，全(quan)国(guo)网安标委同时发(fa)布(bu)了(le)配套的《网络安全(quan)技术人工智(zhi)能生成合成内容标识方法》，拟规定在技术层面对AI生成内容进行标识。

平台层面，一些社交媒体(ti)平台加强内容审核(he)机制，对AI生成内容进行标识和(he)提示。如小红书启动了(le)AIGC治理体(ti)系建设，对识别为疑似(si)AI生成的内容进行显著标识；抖音陆(lu)续发(fa)布(bu)了(le)《关于人工智(zhi)能生成内容的平台规范暨行业倡议》《AI生成虚拟人物治理公(gong)告》等一系列(lie)公(gong)告，并持续对多种AIGC造假内容进行严厉打击。

此外，还可(ke)“用魔法打败(bai)魔法”，即用AI检测AI生成内容。国(guo)内已有多个团(tuan)队正在投入开发(fa)AI生成内容检测技术，例如腾讯混元(yuan)安全(quan)团(tuan)队朱雀(que)实验室(shi)研发(fa)了(le)一款AI生成图片检测系统，通过AI模型来捕捉真实图片与AI生图之(zhi)间各类特(te)征的差(cha)异，包括(kuo)图片的纹理、语义及隐形特(te)征等进行区分，腾讯称最终测试检出率达95%以上。

在上海交通大学国(guo)际与公(gong)共事务学院长聘(pin)副教授贾开看来，虽然可(ke)以通过技术手段治理AI合成虚假新闻(wen)的问题，但这只是(shi)短期的解决方案，长期来看，仍需要提高人的素质和(he)AI伦理意识。

从地震被压儿童(tong)和(he)好(hao)莱坞大火两个案例来看，AI生成内容并非没有破绽。废墟掩埋的儿童(tong)长有6根手指；好(hao)莱坞标志牌上有的多了(le)一个字母“L”，有的则多了(le)字母“O”，这些明显的错(cuo)漏均符合AI生成内容的显著特(te)征，但并未引起人们的关注。甚至有的好(hao)莱坞燃(ran)烧(shao)图片下角还带有“Grok AI”的水印，表(biao)明其(qi)由马斯克旗下公(gong)司xAI开发(fa)的人工智(zhi)能工具(ju)生成，也被不少观众忽略。

一直以来，提高媒介素养与信息辨别能力(li)都是(shi)网络生态治理的关键(jian)，进入AI时代亦(yi)是(shi)如此。正如贾开所言：“我们不能仅仅依赖技术或制度手段来应对AI生成虚假信息，人的教育和(he)意识提升才是(shi)关键(jian)，这是(shi)一个更(geng)长期的，久久为功(gong)的方式。”

专家意见：

公(gong)众源(yuan)头参与是(shi)AI治理关键(jian)

专家意见：

公(gong)众源(yuan)头参与是(shi)AI治理关键(jian)

AI的不当应用，除了(le)会带来虚假信息泛滥，更(geng)有违法侵权，引发(fa)道德伦理争议等风险(xian)。据南都大数据研究院不完全(quan)统计，在上述50个国(guo)内AI舆情案例中，近半数涉及侵权违法行为，常见案例包括(kuo)利用AI造谣扰乱社会秩序，触犯《中华人民共和(he)国(guo)治安管理处罚法》；深度合成技术被用于诈(zha)骗，触犯《中华人民共和(he)国(guo)刑法》；以及未经他人许可(ke)使用AI换脸技术，侵犯公(gong)民肖像权等。还有24%涉及伦理道德争议，“AI复活(huo)”和(he)“AI恋人”是(shi)其(qi)中的代表(biao)性案例。

AI应用带来的风险(xian)是(shi)复杂且多维的，在贾开看来，主要分为三个层面。首先是(shi)已被广泛讨论的算法治理问题，包括(kuo)算法黑箱(xiang)、公(gong)平性、劳(lao)动替代和(he)虚假信息等。其(qi)次是(shi)技术发(fa)展本身的问题，特(te)别是(shi)AI生成过程(cheng)中可(ke)能出现的结构性失衡。例如，大模型训练需要大量资源(yuan)，许多公(gong)共机构和(he)普通研究者难以获取，这可(ke)能导致技术的集中化和(he)垄断，加剧(ju)公(gong)共与私营部门之(zhi)间的不平衡，进而影响AI应用的普惠性，限制其(qi)潜力(li)的发(fa)挥(hui)。第三个层面则是(shi)人的发(fa)展问题，AI技术和(he)产品(pin)的发(fa)展是(shi)一个动态完善的过程(cheng)，人们无法预知和(he)完全(quan)消除其(qi)带来的所有风险(xian)。如果人的能力(li)、意识滞后于技术发(fa)展，尤其(qi)是(shi)开发(fa)者在智(zhi)力(li)、安全(quan)意识方面滞后，这可(ke)能会带来更(geng)大的风险(xian)。

而对于AI治理机制，贾开认为，在AI时代，不再会有绝对安全(quan)的技术标准。因此，除了(le)制定标准，AI治理机制还必须包括(kuo)接受者、被影响者以及其(qi)他利益相关方的参与。换句话说，普通公(gong)众在这个过程(cheng)中扮(ban)演(yan)的角色变得尤为重要。但在当下，人在技术应用的过程(cheng)中，如何提升能力(li)，思(si)维如何跟上技术发(fa)展，如何增强AI伦理教育、提升AI治理意识，往往是(shi)被AI治理所忽略的重要问题。

普通公(gong)众如何参与AI治理？贾开认为，首先需要意识到(dao)AI的变革已经开始并将持续发(fa)展，应该积极接受并拥抱这种变化。从行为上，公(gong)众应当更(geng)加积极地参与AI的发(fa)展，不仅仅是(shi)将AI视为一个技术工具(ju)接受，更(geng)需要参与到(dao)AI技术的演(yan)化过程(cheng)中，同时，制度上也应为公(gong)众提供参与的空间。例如大模型开源(yuan)虽然会有很多的争议和(he)风险(xian)，却可(ke)以使普通公(gong)众也能接触和(he)参与AI的研发(fa)。“在当前(qian)时代，公(gong)众的参与价值非常高，甚至比技术的进步本身更(geng)为重要。参与不仅仅是(shi)接受产品(pin)，更(geng)是(shi)从源(yuan)头上参与，推动技术与社会需求的对接。”

出品(pin)：南都大数据研究院

策划：王卫国(guo) 邹莹

统筹：张纯 张雨亭

采写：见习记(ji)者 陈袁

设计：欧阳静