新(xin)治理难题：

AI造谣日趋频繁

其实(shi)早在2024年11月，这张全网热传的被压在废墟(xu)下的儿童图片已出现在社交媒体上，其创作者当时注(zhu)明该图是由AI生成。

地震发生后，这张图被大量自媒体转发，但图片系(xi)AI生成的附注(zhu)却消失不见，还(hai)带上了日喀则地震相关词条，以及“祈祷震区朋友们平安(an)无事”等(deng)文案(an)。这种拼接让观众误以为(wei)图片是来(lai)自灾区的影像。发布(bu)账号通过赚取(qu)观众同情，获得流(liu)量。

如果说，这种AI造谣手段(duan)是将AI生成图片素材与地震信(xin)息肆意拼贴以误导观众，另一种AI造谣方式，则是直接利用AI“无中生有”，由AI根据已有素材或者相关提示(shi)词，直接生成文本(ben)、图片及视频等(deng)虚假新(xin)闻内容。

同样在今年1月，美国加州山火肆虐。1月12日，国内社交媒体上开始流(liu)传山火已蔓延到好莱坞的相关图片和视频。视频中，洛杉矶市郊山顶(ding)已经被大火吞(tun)噬，著名地标(biao)“好莱坞”（HOLLYWOOD）广告牌矗(chu)立在一片火海(hai)中。许(xu)多网友信(xin)以为(wei)真(zhen)。

事实(shi)上，据法新(xin)社驻洛杉矶记者现场确认，“好莱坞”未见损毁；全球火情监测系(xi)统FIRMS的地图上，也(ye)未显(xian)示(shi)该地附近有火情发生。“好莱坞”燃(ran)烧的视频和图片，其实(shi)是由AI生成的，最早出现在国外“X”平台上，然后被国内自媒体搬运，在社交平台上广泛转载传播。

利用AI技术造谣日趋频繁。南都大数据研究院通过爬取(qu)分析2024年百度新(xin)闻中搜索热度较高(gao)的国内AI风险(xian)事件相关报道，统计(ji)出50个AI相关应用舆情案(an)例，发现其中超1/5与AI造谣有关。2024年7月，四川警方通报了10起AI造谣典(dian)型案(an)例，其中包括用AI生成“云(yun)南山体滑坡致8人遇(yu)难”的虚假新(xin)闻、伪造“喜德县地震”灾情图片，以及编造“巴中警民对峙”事件等(deng)。这些肉眼难辨的AI假新(xin)闻常见于备受关注(zhu)的议题，很容易挑起观众情绪。

用AI“批量化”生产(chan)谣言(yan)，甚至已成为(wei)一种牟利手段(duan)。2024年4月，公(gong)安(an)部通报了一起MCN机构利用AI造谣的案(an)例，江(jiang)西男子王某江(jiang)经营5家MCN机构，运营自媒体账号842个，组(zu)织团队利用AI工具批量生成虚假消息，单日产(chan)量高(gao)达4000至7000篇，其中一条最高(gao)收入可达700元，日均收入超过1万元。

当下，AI工具的普及大幅降低(di)了造谣成本(ben)，仅需(xu)输入简单的关键词，AI软件便可通过网络抓取(qu)相关素材，自动生成包含时间、地点、人物和事件等(deng)要素的文本(ben)或视频，呈(cheng)现出看似真(zhen)实(shi)的“新(xin)闻”内容。可以说，AI技术的应用，给网络信(xin)息生态(tai)带来(lai)了新(xin)的治理难题。

AI造谣治理：

提升AI素养是长期解决方案(an)

AI造谣治理：

提升AI素养是长期解决方案(an)

从(cong)内容生产(chan)层面来(lai)看，AI技术大大降低(di)了谣言(yan)的编造门槛。“有图有真(zhen)相”根本(ben)难不倒它，何止(zhi)图片，借助AI工具，编造音(yin)视频内容也(ye)能信(xin)手拈来(lai)。AI生产(chan)出的逼真(zhen)影像，第(di)一时间冲击观众的感官(guan)系(xi)统，情感驱动人们对内容做出直接反(fan)应，从(cong)而忘记了冷静思(si)考，助力谣言(yan)传播。

此外，社交媒体上存在大量的“社交机器人”，能够快速、大规模地发布(bu)和转发内容，迅速放大虚假信(xin)息的传播范围和速度，还(hai)可以通过大量发布(bu)特定(ding)观点或情感化内容，影响公(gong)众对事件的看法，甚至改变舆论走向(xiang)。以往社交机器人往往比较粗浅(qian)和简单，较容易与真(zhen)人区分，但当它们接入AI大模型，社交机器人生产(chan)的信(xin)息将越(yue)来(lai)越(yue)像人类创作的内容，转发、评论等(deng)互动表现也(ye)与真(zhen)实(shi)用户几(ji)近一致，变得难以辨别。

目前，针对AI造谣已有一些应对措施。国家已制(zhi)定(ding)了一系(xi)列明确的法律法规，对AI造谣行为(wei)进行规制(zhi)和监管(guan)，例如《网络音(yin)视频信(xin)息服务(wu)管(guan)理规定(ding)》《互联(lian)网信(xin)息服务(wu)深度合成管(guan)理规定(ding)》《生成式人工智能服务(wu)管(guan)理办(ban)法》等(deng)，均对深度合成技术生产(chan)的内容提出了监管(guan)要求(qiu)，包括不得用于制(zhi)作、发布(bu)、传播虚假新(xin)闻信(xin)息，制(zhi)作、发布(bu)、传播非(fei)真(zhen)实(shi)音(yin)视频信(xin)息应当以显(xian)著方式标(biao)识。2024年9月国家互联(lian)网信(xin)息办(ban)公(gong)室发布(bu)《人工智能生成合成内容标(biao)识办(ban)法（征(zheng)求(qiu)意见稿）》，全国网安(an)标(biao)委同时发布(bu)了配套的《网络安(an)全技术人工智能生成合成内容标(biao)识方法》，拟规定(ding)在技术层面对AI生成内容进行标(biao)识。

平台层面，一些社交媒体平台加强(qiang)内容审核(he)机制(zhi)，对AI生成内容进行标(biao)识和提示(shi)。如小红书启动了AIGC治理体系(xi)建(jian)设(she)，对识别为(wei)疑似AI生成的内容进行显(xian)著标(biao)识；抖音(yin)陆续(xu)发布(bu)了《关于人工智能生成内容的平台规范暨行业倡议》《AI生成虚拟人物治理公(gong)告》等(deng)一系(xi)列公(gong)告，并持续(xu)对多种AIGC造假内容进行严厉打击。

此外，还(hai)可“用魔法打败魔法”，即用AI检测AI生成内容。国内已有多个团队正在投入开发AI生成内容检测技术，例如腾讯混元安(an)全团队朱雀实(shi)验室研发了一款AI生成图片检测系(xi)统，通过AI模型来(lai)捕捉真(zhen)实(shi)图片与AI生图之间各(ge)类特征(zheng)的差异，包括图片的纹理、语义及隐形特征(zheng)等(deng)进行区分，腾讯称最终测试检出率达95%以上。

在上海(hai)交通大学国际与公(gong)共事务(wu)学院长聘副教授贾开看来(lai)，虽(sui)然可以通过技术手段(duan)治理AI合成虚假新(xin)闻的问题，但这只是短期的解决方案(an)，长期来(lai)看，仍需(xu)要提高(gao)人的素质和AI伦理意识。

从(cong)地震被压儿童和好莱坞大火两个案(an)例来(lai)看，AI生成内容并非(fei)没有破绽。废墟(xu)掩埋的儿童长有6根手指；好莱坞标(biao)志牌上有的多了一个字(zi)母“L”，有的则多了字(zi)母“O”，这些明显(xian)的错漏均符合AI生成内容的显(xian)著特征(zheng)，但并未引起人们的关注(zhu)。甚至有的好莱坞燃(ran)烧图片下角还(hai)带有“Grok AI”的水印(yin)，表明其由马斯克旗下公(gong)司xAI开发的人工智能工具生成，也(ye)被不少观众忽略。

一直以来(lai)，提高(gao)媒介素养与信(xin)息辨别能力都是网络生态(tai)治理的关键，进入AI时代亦(yi)是如此。正如贾开所言(yan)：“我们不能仅仅依赖(lai)技术或制(zhi)度手段(duan)来(lai)应对AI生成虚假信(xin)息，人的教育和意识提升才是关键，这是一个更长期的，久久为(wei)功的方式。”

专家意见：

公(gong)众源头(tou)参与是AI治理关键

专家意见：

公(gong)众源头(tou)参与是AI治理关键

AI的不当应用，除了会带来(lai)虚假信(xin)息泛滥，更有违法侵权，引发道德伦理争议等(deng)风险(xian)。据南都大数据研究院不完全统计(ji)，在上述50个国内AI舆情案(an)例中，近半数涉(she)及侵权违法行为(wei)，常见案(an)例包括利用AI造谣扰乱社会秩序，触犯《中华人民共和国治安(an)管(guan)理处罚法》；深度合成技术被用于诈骗，触犯《中华人民共和国刑法》；以及未经他人许(xu)可使用AI换脸技术，侵犯公(gong)民肖像权等(deng)。还(hai)有24%涉(she)及伦理道德争议，“AI复活”和“AI恋人”是其中的代表性(xing)案(an)例。

AI应用带来(lai)的风险(xian)是复杂且多维的，在贾开看来(lai)，主要分为(wei)三个层面。首先是已被广泛讨论的算法治理问题，包括算法黑箱、公(gong)平性(xing)、劳动替代和虚假信(xin)息等(deng)。其次是技术发展本(ben)身(shen)的问题，特别是AI生成过程(cheng)中可能出现的结构性(xing)失衡。例如，大模型训练需(xu)要大量资源，许(xu)多公(gong)共机构和普通研究者难以获取(qu)，这可能导致技术的集中化和垄断，加剧公(gong)共与私营部门之间的不平衡，进而影响AI应用的普惠性(xing)，限制(zhi)其潜力的发挥。第(di)三个层面则是人的发展问题，AI技术和产(chan)品的发展是一个动态(tai)完善的过程(cheng)，人们无法预知和完全消除其带来(lai)的所有风险(xian)。如果人的能力、意识滞后于技术发展，尤其是开发者在智力、安(an)全意识方面滞后，这可能会带来(lai)更大的风险(xian)。

而对于AI治理机制(zhi)，贾开认为(wei)，在AI时代，不再会有绝对安(an)全的技术标(biao)准。因此，除了制(zhi)定(ding)标(biao)准，AI治理机制(zhi)还(hai)必(bi)须包括接受者、被影响者以及其他利益相关方的参与。换句话说，普通公(gong)众在这个过程(cheng)中扮(ban)演的角色变得尤为(wei)重要。但在当下，人在技术应用的过程(cheng)中，如何提升能力，思(si)维如何跟上技术发展，如何增强(qiang)AI伦理教育、提升AI治理意识，往往是被AI治理所忽略的重要问题。

普通公(gong)众如何参与AI治理？贾开认为(wei)，首先需(xu)要意识到AI的变革已经开始并将持续(xu)发展，应该积极接受并拥抱这种变化。从(cong)行为(wei)上，公(gong)众应当更加积极地参与AI的发展，不仅仅是将AI视为(wei)一个技术工具接受，更需(xu)要参与到AI技术的演化过程(cheng)中，同时，制(zhi)度上也(ye)应为(wei)公(gong)众提供参与的空(kong)间。例如大模型开源虽(sui)然会有很多的争议和风险(xian)，却可以使普通公(gong)众也(ye)能接触和参与AI的研发。“在当前时代，公(gong)众的参与价值非(fei)常高(gao)，甚至比技术的进步本(ben)身(shen)更为(wei)重要。参与不仅仅是接受产(chan)品，更是从(cong)源头(tou)上参与，推(tui)动技术与社会需(xu)求(qiu)的对接。”

出品：南都大数据研究院

策划：王卫国 邹莹

统筹：张纯 张雨亭

采写：见习记者 陈袁

设(she)计(ji)：欧(ou)阳静