新治理难(nan)题：

AI造谣日趋频繁(fan)

其实早在2024年11月，这张全网热传的被压在废墟下(xia)的儿童图片已出现在社交媒(mei)体(ti)上，其创作者当时注明该图是由AI生(sheng)成。

地震发生(sheng)后，这张图被大(da)量自(zi)媒(mei)体(ti)转发，但图片系(xi)AI生(sheng)成的附注却消失(shi)不见，还带上了日喀则地震相关(guan)词条，以及“祈祷震区朋友们平安无(wu)事”等文案。这种拼接让(rang)观众误以为图片是来自(zi)灾(zai)区的影像。发布账号通过赚取观众同情，获得流量。

如果说，这种AI造谣手段是将AI生(sheng)成图片素材(cai)与地震信息(xi)肆意(yi)拼贴以误导观众，另一种AI造谣方式(shi)，则是直接利用(yong)AI“无(wu)中(zhong)生(sheng)有”，由AI根据已有素材(cai)或者相关(guan)提示词，直接生(sheng)成文本、图片及视频等虚(xu)假新闻内容。

同样在今年1月，美国加州山火肆虐。1月12日，国内社交媒(mei)体(ti)上开(kai)始流传山火已蔓延到好莱坞的相关(guan)图片和视频。视频中(zhong)，洛杉矶市郊山顶已经被大(da)火吞噬，著名地标“好莱坞”（HOLLYWOOD）广告牌矗(chu)立在一片火海中(zhong)。许多网友信以为真。

事实上，据法新社驻洛杉矶记者现场确认，“好莱坞”未见损(sun)毁(hui)；全球火情监测系(xi)统FIRMS的地图上，也未显(xian)示该地附近有火情发生(sheng)。“好莱坞”燃烧的视频和图片，其实是由AI生(sheng)成的，最(zui)早出现在国外“X”平台上，然后被国内自(zi)媒(mei)体(ti)搬运(yun)，在社交平台上广泛转载传播。

利用(yong)AI技术造谣日趋频繁(fan)。南都大(da)数据研究院通过爬取分析2024年百(bai)度新闻中(zhong)搜索热度较高的国内AI风险事件相关(guan)报道，统计出50个AI相关(guan)应用(yong)舆(yu)情案例，发现其中(zhong)超1/5与AI造谣有关(guan)。2024年7月，四川警方通报了10起AI造谣典(dian)型案例，其中(zhong)包(bao)括用(yong)AI生(sheng)成“云南山体(ti)滑坡致8人遇难(nan)”的虚(xu)假新闻、伪造“喜德(de)县地震”灾(zai)情图片，以及编造“巴(ba)中(zhong)警民对峙”事件等。这些(xie)肉眼难(nan)辨的AI假新闻常见于备受关(guan)注的议题，很容易挑起观众情绪。

用(yong)AI“批量化”生(sheng)产谣言，甚至已成为一种牟(mou)利手段。2024年4月，公安部通报了一起MCN机构利用(yong)AI造谣的案例，江西(xi)男子(zi)王某江经营5家MCN机构，运(yun)营自(zi)媒(mei)体(ti)账号842个，组织团队利用(yong)AI工具批量生(sheng)成虚(xu)假消息(xi)，单(dan)日产量高达4000至7000篇，其中(zhong)一条最(zui)高收入可达700元(yuan)，日均收入超过1万元(yuan)。

当下(xia)，AI工具的普及大(da)幅降低了造谣成本，仅需输入简单(dan)的关(guan)键(jian)词，AI软件便可通过网络抓取相关(guan)素材(cai)，自(zi)动(dong)生(sheng)成包(bao)含时间、地点、人物(wu)和事件等要素的文本或视频，呈现出看(kan)似真实的“新闻”内容。可以说，AI技术的应用(yong)，给(gei)网络信息(xi)生(sheng)态带来了新的治理难(nan)题。

AI造谣治理：

提升AI素养是长期解决方案

AI造谣治理：

提升AI素养是长期解决方案

从内容生(sheng)产层面来看(kan)，AI技术大(da)大(da)降低了谣言的编造门槛。“有图有真相”根本难(nan)不倒它，何止图片，借助AI工具，编造音视频内容也能(neng)信手拈来。AI生(sheng)产出的逼真影像，第一时间冲击观众的感官系(xi)统，情感驱动(dong)人们对内容做出直接反应，从而忘(wang)记了冷静(jing)思(si)考(kao)，助力谣言传播。

此外，社交媒(mei)体(ti)上存在大(da)量的“社交机器人”，能(neng)够快速、大(da)规模地发布和转发内容，迅速放大(da)虚(xu)假信息(xi)的传播范围和速度，还可以通过大(da)量发布特定观点或情感化内容，影响公众对事件的看(kan)法，甚至改变(bian)舆(yu)论走向。以往社交机器人往往比(bi)较粗浅和简单(dan)，较容易与真人区分，但当它们接入AI大(da)模型，社交机器人生(sheng)产的信息(xi)将越(yue)来越(yue)像人类创作的内容，转发、评论等互动(dong)表现也与真实用(yong)户(hu)几近一致，变(bian)得难(nan)以辨别。

目前，针对AI造谣已有一些(xie)应对措施。国家已制(zhi)定了一系(xi)列明确的法律法规，对AI造谣行为进行规制(zhi)和监管，例如《网络音视频信息(xi)服务管理规定》《互联网信息(xi)服务深度合(he)成管理规定》《生(sheng)成式(shi)人工智能(neng)服务管理办法》等，均对深度合(he)成技术生(sheng)产的内容提出了监管要求，包(bao)括不得用(yong)于制(zhi)作、发布、传播虚(xu)假新闻信息(xi)，制(zhi)作、发布、传播非真实音视频信息(xi)应当以显(xian)著方式(shi)标识。2024年9月国家互联网信息(xi)办公室发布《人工智能(neng)生(sheng)成合(he)成内容标识办法（征求意(yi)见稿）》，全国网安标委同时发布了配套(tao)的《网络安全技术人工智能(neng)生(sheng)成合(he)成内容标识方法》，拟规定在技术层面对AI生(sheng)成内容进行标识。

平台层面，一些(xie)社交媒(mei)体(ti)平台加强内容审核机制(zhi)，对AI生(sheng)成内容进行标识和提示。如小红书启动(dong)了AIGC治理体(ti)系(xi)建设(she)，对识别为疑似AI生(sheng)成的内容进行显(xian)著标识；抖音陆续发布了《关(guan)于人工智能(neng)生(sheng)成内容的平台规范暨行业倡议》《AI生(sheng)成虚(xu)拟人物(wu)治理公告》等一系(xi)列公告，并持续对多种AIGC造假内容进行严厉(li)打击。

此外，还可“用(yong)魔法打败魔法”，即用(yong)AI检测AI生(sheng)成内容。国内已有多个团队正在投(tou)入开(kai)发AI生(sheng)成内容检测技术，例如腾讯混元(yuan)安全团队朱雀实验室研发了一款AI生(sheng)成图片检测系(xi)统，通过AI模型来捕捉(zhuo)真实图片与AI生(sheng)图之(zhi)间各类特征的差(cha)异，包(bao)括图片的纹理、语义及隐形特征等进行区分，腾讯称(cheng)最(zui)终测试检出率达95%以上。

在上海交通大(da)学国际与公共事务学院长聘副教授贾开(kai)看(kan)来，虽然可以通过技术手段治理AI合(he)成虚(xu)假新闻的问题，但这只是短期的解决方案，长期来看(kan)，仍(reng)需要提高人的素质(zhi)和AI伦理意(yi)识。

从地震被压儿童和好莱坞大(da)火两个案例来看(kan)，AI生(sheng)成内容并非没(mei)有破绽。废墟掩埋的儿童长有6根手指；好莱坞标志(zhi)牌上有的多了一个字母“L”，有的则多了字母“O”，这些(xie)明显(xian)的错漏均符合(he)AI生(sheng)成内容的显(xian)著特征，但并未引起人们的关(guan)注。甚至有的好莱坞燃烧图片下(xia)角还带有“Grok AI”的水(shui)印，表明其由马斯克旗下(xia)公司xAI开(kai)发的人工智能(neng)工具生(sheng)成，也被不少观众忽略。

一直以来，提高媒(mei)介素养与信息(xi)辨别能(neng)力都是网络生(sheng)态治理的关(guan)键(jian)，进入AI时代亦是如此。正如贾开(kai)所(suo)言：“我们不能(neng)仅仅依赖(lai)技术或制(zhi)度手段来应对AI生(sheng)成虚(xu)假信息(xi)，人的教育和意(yi)识提升才是关(guan)键(jian)，这是一个更长期的，久久为功的方式(shi)。”

专家意(yi)见：

公众源头(tou)参与是AI治理关(guan)键(jian)

专家意(yi)见：

公众源头(tou)参与是AI治理关(guan)键(jian)

AI的不当应用(yong)，除了会带来虚(xu)假信息(xi)泛滥(lan)，更有违(wei)法侵(qin)权，引发道德(de)伦理争议等风险。据南都大(da)数据研究院不完全统计，在上述50个国内AI舆(yu)情案例中(zhong)，近半数涉(she)及侵(qin)权违(wei)法行为，常见案例包(bao)括利用(yong)AI造谣扰乱社会秩序，触(chu)犯《中(zhong)华人民共和国治安管理处罚法》；深度合(he)成技术被用(yong)于诈骗，触(chu)犯《中(zhong)华人民共和国刑法》；以及未经他人许可使用(yong)AI换(huan)脸技术，侵(qin)犯公民肖像权等。还有24%涉(she)及伦理道德(de)争议，“AI复活”和“AI恋人”是其中(zhong)的代表性案例。

AI应用(yong)带来的风险是复杂且多维的，在贾开(kai)看(kan)来，主要分为三个层面。首先是已被广泛讨论的算法治理问题，包(bao)括算法黑箱、公平性、劳动(dong)替代和虚(xu)假信息(xi)等。其次是技术发展本身的问题，特别是AI生(sheng)成过程中(zhong)可能(neng)出现的结(jie)构性失(shi)衡。例如，大(da)模型训练需要大(da)量资源，许多公共机构和普通研究者难(nan)以获取，这可能(neng)导致技术的集中(zhong)化和垄断，加剧公共与私营部门之(zhi)间的不平衡，进而影响AI应用(yong)的普惠性，限制(zhi)其潜力的发挥。第三个层面则是人的发展问题，AI技术和产品的发展是一个动(dong)态完善的过程，人们无(wu)法预知和完全消除其带来的所(suo)有风险。如果人的能(neng)力、意(yi)识滞后于技术发展，尤其是开(kai)发者在智力、安全意(yi)识方面滞后，这可能(neng)会带来更大(da)的风险。

而对于AI治理机制(zhi)，贾开(kai)认为，在AI时代，不再会有绝对安全的技术标准。因此，除了制(zhi)定标准，AI治理机制(zhi)还必须(xu)包(bao)括接受者、被影响者以及其他利益相关(guan)方的参与。换(huan)句(ju)话说，普通公众在这个过程中(zhong)扮演的角色变(bian)得尤为重要。但在当下(xia)，人在技术应用(yong)的过程中(zhong)，如何提升能(neng)力，思(si)维如何跟上技术发展，如何增强AI伦理教育、提升AI治理意(yi)识，往往是被AI治理所(suo)忽略的重要问题。

普通公众如何参与AI治理？贾开(kai)认为，首先需要意(yi)识到AI的变(bian)革已经开(kai)始并将持续发展，应该积极接受并拥抱这种变(bian)化。从行为上，公众应当更加积极地参与AI的发展，不仅仅是将AI视为一个技术工具接受，更需要参与到AI技术的演化过程中(zhong)，同时，制(zhi)度上也应为公众提供参与的空间。例如大(da)模型开(kai)源虽然会有很多的争议和风险，却可以使普通公众也能(neng)接触(chu)和参与AI的研发。“在当前时代，公众的参与价值非常高，甚至比(bi)技术的进步(bu)本身更为重要。参与不仅仅是接受产品，更是从源头(tou)上参与，推动(dong)技术与社会需求的对接。”

出品：南都大(da)数据研究院

策划：王卫国 邹莹

统筹(chou)：张纯 张雨(yu)亭

采写：见习记者 陈袁

设(she)计：欧(ou)阳静(jing)