新治理难题：

AI造(zao)谣日趋(qu)频繁

其实早在(zai)2024年11月，这张全网热(re)传的被压在(zai)废墟(xu)下的儿童图片已出现在(zai)社交媒体上，其创作(zuo)者当时注明该图是由AI生成。

地(di)震发生后，这张图被大量自媒体转发，但图片系AI生成的附注却消失不见，还带上了日喀则地(di)震相关词条，以及“祈祷震区朋(peng)友们平安无事”等文案。这种拼接让观众误(wu)以为(wei)图片是来自灾区的影像。发布账号通过赚取观众同情，获(huo)得流量。

如果说，这种AI造(zao)谣手段是将AI生成图片素(su)材与地(di)震信息肆意拼贴以误(wu)导观众，另一种AI造(zao)谣方式，则是直(zhi)接利用AI“无中生有”，由AI根据(ju)已有素(su)材或者相关提(ti)示词，直(zhi)接生成文本、图片及视频等虚假新闻(wen)内容(rong)。

同样在(zai)今年1月，美国加州山(shan)火肆虐。1月12日，国内社交媒体上开始流传山(shan)火已蔓延到好莱坞的相关图片和视频。视频中，洛(luo)杉矶市郊山(shan)顶已经被大火吞噬，著名地(di)标“好莱坞”（HOLLYWOOD）广(guang)告(gao)牌(pai)矗立在(zai)一片火海中。许多网友信以为(wei)真。

事实上，据(ju)法新社驻洛(luo)杉矶记者现场确认，“好莱坞”未见损毁(hui)；全球火情监测系统FIRMS的地(di)图上，也未显示该地(di)附近有火情发生。“好莱坞”燃烧的视频和图片，其实是由AI生成的，最早出现在(zai)国外“X”平台上，然后被国内自媒体搬(ban)运(yun)，在(zai)社交平台上广(guang)泛转载传播。

利用AI技(ji)术(shu)造(zao)谣日趋(qu)频繁。南(nan)都(dou)大数据(ju)研究院(yuan)通过爬取分析2024年百度新闻(wen)中搜索热(re)度较高的国内AI风险事件(jian)相关报道，统计出50个AI相关应(ying)用舆(yu)情案例，发现其中超1/5与AI造(zao)谣有关。2024年7月，四川警方通报了10起AI造(zao)谣典型案例，其中包括用AI生成“云南(nan)山(shan)体滑坡致8人遇难”的虚假新闻(wen)、伪(wei)造(zao)“喜德县地(di)震”灾情图片，以及编(bian)造(zao)“巴中警民(min)对峙”事件(jian)等。这些肉眼难辨的AI假新闻(wen)常见于(yu)备受关注的议(yi)题，很(hen)容(rong)易挑起观众情绪。

用AI“批(pi)量化”生产谣言，甚至已成为(wei)一种牟利手段。2024年4月，公安部通报了一起MCN机(ji)构利用AI造(zao)谣的案例，江西男子王某(mou)江经营5家MCN机(ji)构，运(yun)营自媒体账号842个，组织团队利用AI工具批(pi)量生成虚假消息，单日产量高达4000至7000篇，其中一条最高收入可达700元，日均收入超过1万元。

当下，AI工具的普及大幅降低了造(zao)谣成本，仅需输入简单的关键词，AI软件(jian)便可通过网络抓取相关素(su)材，自动生成包含时间、地(di)点、人物和事件(jian)等要素(su)的文本或视频，呈现出看似真实的“新闻(wen)”内容(rong)。可以说，AI技(ji)术(shu)的应(ying)用，给网络信息生态带来了新的治理难题。

AI造(zao)谣治理：

提(ti)升(sheng)AI素(su)养是长期解决方案

AI造(zao)谣治理：

提(ti)升(sheng)AI素(su)养是长期解决方案

从(cong)内容(rong)生产层面来看，AI技(ji)术(shu)大大降低了谣言的编(bian)造(zao)门槛。“有图有真相”根本难不倒它，何(he)止图片，借助(zhu)AI工具，编(bian)造(zao)音视频内容(rong)也能信手拈来。AI生产出的逼(bi)真影像，第一时间冲击观众的感官系统，情感驱动人们对内容(rong)做(zuo)出直(zhi)接反应(ying)，从(cong)而忘(wang)记了冷静思考(kao)，助(zhu)力谣言传播。

此外，社交媒体上存(cun)在(zai)大量的“社交机(ji)器人”，能够快(kuai)速、大规模地(di)发布和转发内容(rong)，迅(xun)速放大虚假信息的传播范围和速度，还可以通过大量发布特定观点或情感化内容(rong)，影响公众对事件(jian)的看法，甚至改变舆(yu)论走向。以往社交机(ji)器人往往比(bi)较粗浅(qian)和简单，较容(rong)易与真人区分，但当它们接入AI大模型，社交机(ji)器人生产的信息将越来越像人类创作(zuo)的内容(rong)，转发、评论等互动表(biao)现也与真实用户几近一致，变得难以辨别。

目前，针对AI造(zao)谣已有一些应(ying)对措施。国家已制定了一系列明确的法律法规，对AI造(zao)谣行为(wei)进行规制和监管(guan)，例如《网络音视频信息服(fu)务管(guan)理规定》《互联网信息服(fu)务深度合成管(guan)理规定》《生成式人工智能服(fu)务管(guan)理办法》等，均对深度合成技(ji)术(shu)生产的内容(rong)提(ti)出了监管(guan)要求(qiu)，包括不得用于(yu)制作(zuo)、发布、传播虚假新闻(wen)信息，制作(zuo)、发布、传播非真实音视频信息应(ying)当以显著方式标识(shi)。2024年9月国家互联网信息办公室发布《人工智能生成合成内容(rong)标识(shi)办法（征求(qiu)意见稿(gao)）》，全国网安标委同时发布了配(pei)套的《网络安全技(ji)术(shu)人工智能生成合成内容(rong)标识(shi)方法》，拟规定在(zai)技(ji)术(shu)层面对AI生成内容(rong)进行标识(shi)。

平台层面，一些社交媒体平台加强(qiang)内容(rong)审(shen)核机(ji)制，对AI生成内容(rong)进行标识(shi)和提(ti)示。如小红书(shu)启(qi)动了AIGC治理体系建设(she)，对识(shi)别为(wei)疑似AI生成的内容(rong)进行显著标识(shi)；抖音陆续发布了《关于(yu)人工智能生成内容(rong)的平台规范暨(ji)行业倡议(yi)》《AI生成虚拟人物治理公告(gao)》等一系列公告(gao)，并持续对多种AIGC造(zao)假内容(rong)进行严厉打击。

此外，还可“用魔法打败魔法”，即用AI检测AI生成内容(rong)。国内已有多个团队正在(zai)投入开发AI生成内容(rong)检测技(ji)术(shu)，例如腾讯(xun)混元安全团队朱雀实验室研发了一款AI生成图片检测系统，通过AI模型来捕捉真实图片与AI生图之间各类特征的差异，包括图片的纹理、语义及隐形特征等进行区分，腾讯(xun)称最终测试检出率达95%以上。

在(zai)上海交通大学国际与公共(gong)事务学院(yuan)长聘副教授(shou)贾开看来，虽(sui)然可以通过技(ji)术(shu)手段治理AI合成虚假新闻(wen)的问题，但这只是短期的解决方案，长期来看，仍需要提(ti)高人的素(su)质(zhi)和AI伦理意识(shi)。

从(cong)地(di)震被压儿童和好莱坞大火两个案例来看，AI生成内容(rong)并非没有破(po)绽。废墟(xu)掩埋(mai)的儿童长有6根手指；好莱坞标志牌(pai)上有的多了一个字母“L”，有的则多了字母“O”，这些明显的错漏均符合AI生成内容(rong)的显著特征，但并未引起人们的关注。甚至有的好莱坞燃烧图片下角还带有“Grok AI”的水印，表(biao)明其由马斯克旗下公司xAI开发的人工智能工具生成，也被不少观众忽略。

一直(zhi)以来，提(ti)高媒介素(su)养与信息辨别能力都(dou)是网络生态治理的关键，进入AI时代亦是如此。正如贾开所(suo)言：“我(wo)们不能仅仅依赖(lai)技(ji)术(shu)或制度手段来应(ying)对AI生成虚假信息，人的教育和意识(shi)提(ti)升(sheng)才是关键，这是一个更长期的，久(jiu)久(jiu)为(wei)功的方式。”

专(zhuan)家意见：

公众源(yuan)头参与是AI治理关键

专(zhuan)家意见：

公众源(yuan)头参与是AI治理关键

AI的不当应(ying)用，除了会带来虚假信息泛滥，更有违法侵权，引发道德伦理争议(yi)等风险。据(ju)南(nan)都(dou)大数据(ju)研究院(yuan)不完全统计，在(zai)上述50个国内AI舆(yu)情案例中，近半数涉及侵权违法行为(wei)，常见案例包括利用AI造(zao)谣扰(rao)乱社会秩序，触犯《中华人民(min)共(gong)和国治安管(guan)理处罚法》；深度合成技(ji)术(shu)被用于(yu)诈骗，触犯《中华人民(min)共(gong)和国刑法》；以及未经他人许可使用AI换脸技(ji)术(shu)，侵犯公民(min)肖像权等。还有24%涉及伦理道德争议(yi)，“AI复活”和“AI恋人”是其中的代表(biao)性案例。

AI应(ying)用带来的风险是复杂且多维的，在(zai)贾开看来，主要分为(wei)三个层面。首先(xian)是已被广(guang)泛讨论的算法治理问题，包括算法黑箱、公平性、劳动替代和虚假信息等。其次(ci)是技(ji)术(shu)发展(zhan)本身的问题，特别是AI生成过程中可能出现的结(jie)构性失衡。例如，大模型训练(lian)需要大量资源(yuan)，许多公共(gong)机(ji)构和普通研究者难以获(huo)取，这可能导致技(ji)术(shu)的集中化和垄断(duan)，加剧(ju)公共(gong)与私营部门之间的不平衡，进而影响AI应(ying)用的普惠性，限(xian)制其潜力的发挥。第三个层面则是人的发展(zhan)问题，AI技(ji)术(shu)和产品的发展(zhan)是一个动态完善的过程，人们无法预知和完全消除其带来的所(suo)有风险。如果人的能力、意识(shi)滞后于(yu)技(ji)术(shu)发展(zhan)，尤其是开发者在(zai)智力、安全意识(shi)方面滞后，这可能会带来更大的风险。

而对于(yu)AI治理机(ji)制，贾开认为(wei)，在(zai)AI时代，不再会有绝(jue)对安全的技(ji)术(shu)标准。因此，除了制定标准，AI治理机(ji)制还必须包括接受者、被影响者以及其他利益相关方的参与。换句话说，普通公众在(zai)这个过程中扮演的角色变得尤为(wei)重要。但在(zai)当下，人在(zai)技(ji)术(shu)应(ying)用的过程中，如何(he)提(ti)升(sheng)能力，思维如何(he)跟上技(ji)术(shu)发展(zhan)，如何(he)增强(qiang)AI伦理教育、提(ti)升(sheng)AI治理意识(shi)，往往是被AI治理所(suo)忽略的重要问题。

普通公众如何(he)参与AI治理？贾开认为(wei)，首先(xian)需要意识(shi)到AI的变革已经开始并将持续发展(zhan)，应(ying)该积(ji)极接受并拥抱(bao)这种变化。从(cong)行为(wei)上，公众应(ying)当更加积(ji)极地(di)参与AI的发展(zhan)，不仅仅是将AI视为(wei)一个技(ji)术(shu)工具接受，更需要参与到AI技(ji)术(shu)的演化过程中，同时，制度上也应(ying)为(wei)公众提(ti)供参与的空间。例如大模型开源(yuan)虽(sui)然会有很(hen)多的争议(yi)和风险，却可以使普通公众也能接触和参与AI的研发。“在(zai)当前时代，公众的参与价值非常高，甚至比(bi)技(ji)术(shu)的进步(bu)本身更为(wei)重要。参与不仅仅是接受产品，更是从(cong)源(yuan)头上参与，推动技(ji)术(shu)与社会需求(qiu)的对接。”

出品：南(nan)都(dou)大数据(ju)研究院(yuan)

策划：王卫国 邹莹

统筹：张纯 张雨亭

采写(xie)：见习记者 陈袁(yuan)

设(she)计：欧阳(yang)静