新治理难题：

AI造谣日趋频繁

其实早在2024年11月，这张全网热(re)传的被压在废墟下的儿童图片已出现在社交(jiao)媒体上，其创作(zuo)者当时注明(ming)该图是由AI生成。

地震发生后，这张图被大量自媒体转(zhuan)发，但图片系AI生成的附注却消失不见，还带上了日喀则(ze)地震相关词条，以及“祈祷震区朋友们平安无事(shi)”等文案。这种拼接让观众误以为图片是来自灾区的影像。发布账号通过(guo)赚取观众同情，获得流量。

如果说，这种AI造谣手段是将AI生成图片素材与地震信(xin)息肆意拼贴以误导观众，另一种AI造谣方式，则(ze)是直接利用AI“无中(zhong)生有”，由AI根据已有素材或者相关提示词，直接生成文本、图片及视频等虚假新闻(wen)内容。

同样在今年1月，美国加(jia)州山火肆虐。1月12日，国内社交(jiao)媒体上开始流传山火已蔓延到好莱坞(wu)的相关图片和视频。视频中(zhong)，洛杉矶市郊(jiao)山顶已经被大火吞噬，著名地标“好莱坞(wu)”（HOLLYWOOD）广告牌矗立在一片火海中(zhong)。许多(duo)网友信(xin)以为真。

事(shi)实上，据法新社驻(zhu)洛杉矶记者现场确认，“好莱坞(wu)”未见损毁；全球火情监测系统FIRMS的地图上，也未显示该地附近有火情发生。“好莱坞(wu)”燃烧(shao)的视频和图片，其实是由AI生成的，最早出现在国外“X”平台上，然后被国内自媒体搬运，在社交(jiao)平台上广泛转(zhuan)载(zai)传播。

利用AI技术造谣日趋频繁。南都(dou)大数据研究院通过(guo)爬取分析2024年百度(du)新闻(wen)中(zhong)搜索热(re)度(du)较高的国内AI风(feng)险事(shi)件相关报道，统计出50个AI相关应用舆情案例(li)，发现其中(zhong)超1/5与AI造谣有关。2024年7月，四川警(jing)方通报了10起AI造谣典型案例(li)，其中(zhong)包括用AI生成“云南山体滑坡致8人遇难”的虚假新闻(wen)、伪造“喜德县地震”灾情图片，以及编造“巴(ba)中(zhong)警(jing)民对峙”事(shi)件等。这些肉眼难辨的AI假新闻(wen)常见于(yu)备受关注的议题，很容易挑起观众情绪。

用AI“批量化”生产谣言，甚(shen)至已成为一种牟利手段。2024年4月，公(gong)安部通报了一起MCN机构利用AI造谣的案例(li)，江西男子王某江经营5家MCN机构，运营自媒体账号842个，组织团队利用AI工具批量生成虚假消息，单(dan)日产量高达4000至7000篇，其中(zhong)一条最高收入可达700元，日均收入超过(guo)1万元。

当下，AI工具的普及大幅降低了造谣成本，仅需输入简单(dan)的关键词，AI软件便可通过(guo)网络抓取相关素材，自动生成包含时间、地点、人物和事(shi)件等要素的文本或视频，呈现出看似真实的“新闻(wen)”内容。可以说，AI技术的应用，给网络信(xin)息生态带来了新的治理难题。

AI造谣治理：

提升AI素养是长期解决方案

AI造谣治理：

提升AI素养是长期解决方案

从内容生产层面(mian)来看，AI技术大大降低了谣言的编造门槛。“有图有真相”根本难不倒它(ta)，何止图片，借助AI工具，编造音视频内容也能信(xin)手拈来。AI生产出的逼真影像，第一时间冲击观众的感(gan)官系统，情感(gan)驱动人们对内容做出直接反应，从而忘记了冷静思考，助力谣言传播。

此外，社交(jiao)媒体上存在大量的“社交(jiao)机器人”，能够(gou)快速(su)、大规模地发布和转(zhuan)发内容，迅速(su)放(fang)大虚假信(xin)息的传播范围和速(su)度(du)，还可以通过(guo)大量发布特(te)定观点或情感(gan)化内容，影响公(gong)众对事(shi)件的看法，甚(shen)至改变舆论走向。以往社交(jiao)机器人往往比较粗浅和简单(dan)，较容易与真人区分，但当它(ta)们接入AI大模型，社交(jiao)机器人生产的信(xin)息将越来越像人类创作(zuo)的内容，转(zhuan)发、评论等互动表现也与真实用户(hu)几近一致，变得难以辨别(bie)。

目前，针对AI造谣已有一些应对措施。国家已制定了一系列明(ming)确的法律法规，对AI造谣行(xing)为进行(xing)规制和监管，例(li)如《网络音视频信(xin)息服(fu)务管理规定》《互联网信(xin)息服(fu)务深(shen)度(du)合成管理规定》《生成式人工智能服(fu)务管理办法》等，均对深(shen)度(du)合成技术生产的内容提出了监管要求(qiu)，包括不得用于(yu)制作(zuo)、发布、传播虚假新闻(wen)信(xin)息，制作(zuo)、发布、传播非(fei)真实音视频信(xin)息应当以显著方式标识(shi)。2024年9月国家互联网信(xin)息办公(gong)室发布《人工智能生成合成内容标识(shi)办法（征求(qiu)意见稿）》，全国网安标委同时发布了配套的《网络安全技术人工智能生成合成内容标识(shi)方法》，拟规定在技术层面(mian)对AI生成内容进行(xing)标识(shi)。

平台层面(mian)，一些社交(jiao)媒体平台加(jia)强内容审核机制，对AI生成内容进行(xing)标识(shi)和提示。如小红书启(qi)动了AIGC治理体系建(jian)设(she)，对识(shi)别(bie)为疑似AI生成的内容进行(xing)显著标识(shi)；抖音陆(lu)续(xu)发布了《关于(yu)人工智能生成内容的平台规范暨行(xing)业倡议》《AI生成虚拟人物治理公(gong)告》等一系列公(gong)告，并(bing)持续(xu)对多(duo)种AIGC造假内容进行(xing)严厉打击。

此外，还可“用魔法打败(bai)魔法”，即用AI检测AI生成内容。国内已有多(duo)个团队正(zheng)在投入开发AI生成内容检测技术，例(li)如腾讯混元安全团队朱雀实验室研发了一款(kuan)AI生成图片检测系统，通过(guo)AI模型来捕捉真实图片与AI生图之间各类特(te)征的差异，包括图片的纹理、语义(yi)及隐形特(te)征等进行(xing)区分，腾讯称最终测试(shi)检出率达95%以上。

在上海交(jiao)通大学(xue)国际与公(gong)共(gong)事(shi)务学(xue)院长聘副教授贾开看来，虽(sui)然可以通过(guo)技术手段治理AI合成虚假新闻(wen)的问题，但这只是短期的解决方案，长期来看，仍需要提高人的素质和AI伦理意识(shi)。

从地震被压儿童和好莱坞(wu)大火两个案例(li)来看，AI生成内容并(bing)非(fei)没有破(po)绽。废墟掩埋的儿童长有6根手指(zhi)；好莱坞(wu)标志牌上有的多(duo)了一个字(zi)母“L”，有的则(ze)多(duo)了字(zi)母“O”，这些明(ming)显的错漏均符(fu)合AI生成内容的显著特(te)征，但并(bing)未引起人们的关注。甚(shen)至有的好莱坞(wu)燃烧(shao)图片下角(jiao)还带有“Grok AI”的水印，表明(ming)其由马斯克旗下公(gong)司xAI开发的人工智能工具生成，也被不少观众忽(hu)略。

一直以来，提高媒介素养与信(xin)息辨别(bie)能力都(dou)是网络生态治理的关键，进入AI时代亦是如此。正(zheng)如贾开所言：“我(wo)们不能仅仅依赖技术或制度(du)手段来应对AI生成虚假信(xin)息，人的教育和意识(shi)提升才是关键，这是一个更长期的，久久为功的方式。”

专家意见：

公(gong)众源头参与是AI治理关键

专家意见：

公(gong)众源头参与是AI治理关键

AI的不当应用，除了会带来虚假信(xin)息泛滥，更有违法侵权，引发道德伦理争议等风(feng)险。据南都(dou)大数据研究院不完全统计，在上述50个国内AI舆情案例(li)中(zhong)，近半数涉及侵权违法行(xing)为，常见案例(li)包括利用AI造谣扰乱社会秩序，触犯《中(zhong)华人民共(gong)和国治安管理处罚法》；深(shen)度(du)合成技术被用于(yu)诈骗，触犯《中(zhong)华人民共(gong)和国刑法》；以及未经他人许可使用AI换脸技术，侵犯公(gong)民肖像权等。还有24%涉及伦理道德争议，“AI复(fu)活(huo)”和“AI恋人”是其中(zhong)的代表性案例(li)。

AI应用带来的风(feng)险是复(fu)杂且多(duo)维的，在贾开看来，主要分为三(san)个层面(mian)。首(shou)先是已被广泛讨论的算法治理问题，包括算法黑箱、公(gong)平性、劳动替代和虚假信(xin)息等。其次是技术发展本身的问题，特(te)别(bie)是AI生成过(guo)程中(zhong)可能出现的结构性失衡。例(li)如，大模型训练需要大量资源，许多(duo)公(gong)共(gong)机构和普通研究者难以获取，这可能导致技术的集(ji)中(zhong)化和垄断，加(jia)剧公(gong)共(gong)与私(si)营部门之间的不平衡，进而影响AI应用的普惠性，限制其潜力的发挥(hui)。第三(san)个层面(mian)则(ze)是人的发展问题，AI技术和产品的发展是一个动态完善的过(guo)程，人们无法预知和完全消除其带来的所有风(feng)险。如果人的能力、意识(shi)滞(zhi)后于(yu)技术发展，尤(you)其是开发者在智力、安全意识(shi)方面(mian)滞(zhi)后，这可能会带来更大的风(feng)险。

而对于(yu)AI治理机制，贾开认为，在AI时代，不再会有绝对安全的技术标准。因此，除了制定标准，AI治理机制还必须包括接受者、被影响者以及其他利益相关方的参与。换句话说，普通公(gong)众在这个过(guo)程中(zhong)扮演的角(jiao)色变得尤(you)为重要。但在当下，人在技术应用的过(guo)程中(zhong)，如何提升能力，思维如何跟上技术发展，如何增(zeng)强AI伦理教育、提升AI治理意识(shi)，往往是被AI治理所忽(hu)略的重要问题。

普通公(gong)众如何参与AI治理？贾开认为，首(shou)先需要意识(shi)到AI的变革已经开始并(bing)将持续(xu)发展，应该积极接受并(bing)拥(yong)抱(bao)这种变化。从行(xing)为上，公(gong)众应当更加(jia)积极地参与AI的发展，不仅仅是将AI视为一个技术工具接受，更需要参与到AI技术的演化过(guo)程中(zhong)，同时，制度(du)上也应为公(gong)众提供(gong)参与的空间。例(li)如大模型开源虽(sui)然会有很多(duo)的争议和风(feng)险，却可以使普通公(gong)众也能接触和参与AI的研发。“在当前时代，公(gong)众的参与价值(zhi)非(fei)常高，甚(shen)至比技术的进步本身更为重要。参与不仅仅是接受产品，更是从源头上参与，推动技术与社会需求(qiu)的对接。”

出品：南都(dou)大数据研究院

策划：王卫国 邹莹

统筹：张纯 张雨亭

采写(xie)：见习记者 陈袁

设(she)计：欧阳(yang)静