新(xin)治理难(nan)题：

AI造谣日趋频繁

其实早在2024年(nian)11月，这张全网热传(chuan)的被压在废(fei)墟下的儿童图片已出现在社交媒体上，其创作者当(dang)时注明该图是由AI生(sheng)成。

地震发生(sheng)后，这张图被大量自媒体转发，但图片系AI生(sheng)成的附注却消失不见，还带上了日喀则地震相关(guan)词条，以及“祈祷震区朋友(you)们平安无事”等文案。这种(zhong)拼接(jie)让观(guan)众误以为图片是来(lai)自灾区的影像。发布账号通过赚取观(guan)众同情，获得流(liu)量。

如果(guo)说，这种(zhong)AI造谣手段是将AI生(sheng)成图片素材与地震信息肆意拼贴以误导观(guan)众，另一种(zhong)AI造谣方式(shi)，则是直接(jie)利用AI“无中生(sheng)有”，由AI根据已有素材或者相关(guan)提示词，直接(jie)生(sheng)成文本、图片及视频等虚假新(xin)闻内容。

同样在今年(nian)1月，美国加州山火肆虐。1月12日，国内社交媒体上开始流(liu)传(chuan)山火已蔓延到(dao)好莱坞的相关(guan)图片和视频。视频中，洛杉(shan)矶市郊山顶已经被大火吞噬，著名地标“好莱坞”（HOLLYWOOD）广告牌矗立在一片火海中。许多网友(you)信以为真。

事实上，据法新(xin)社驻洛杉(shan)矶记者现场确认，“好莱坞”未见损毁；全球火情监测系统FIRMS的地图上，也未显示该地附近有火情发生(sheng)。“好莱坞”燃烧的视频和图片，其实是由AI生(sheng)成的，最早出现在国外“X”平台上，然后被国内自媒体搬(ban)运，在社交平台上广泛(fan)转载传(chuan)播。

利用AI技术造谣日趋频繁。南都大数据研(yan)究院通过爬(pa)取分析2024年(nian)百(bai)度新(xin)闻中搜索热度较高的国内AI风(feng)险事件相关(guan)报道，统计出50个AI相关(guan)应(ying)用舆情案例，发现其中超1/5与AI造谣有关(guan)。2024年(nian)7月，四川警方通报了10起AI造谣典型案例，其中包括用AI生(sheng)成“云(yun)南山体滑坡致8人遇难(nan)”的虚假新(xin)闻、伪造“喜德县地震”灾情图片，以及编造“巴中警民对峙”事件等。这些肉(rou)眼难(nan)辨的AI假新(xin)闻常见于备受关(guan)注的议(yi)题，很容易挑起观(guan)众情绪(xu)。

用AI“批量化”生(sheng)产谣言，甚至(zhi)已成为一种(zhong)牟利手段。2024年(nian)4月，公安部通报了一起MCN机构利用AI造谣的案例，江(jiang)西男子王某江(jiang)经营5家MCN机构，运营自媒体账号842个，组织团(tuan)队利用AI工具(ju)批量生(sheng)成虚假消息，单日产量高达4000至(zhi)7000篇，其中一条最高收入可(ke)达700元，日均收入超过1万元。

当(dang)下，AI工具(ju)的普(pu)及大幅降低了造谣成本，仅需输入简单的关(guan)键(jian)词，AI软件便可(ke)通过网络抓取相关(guan)素材，自动生(sheng)成包含时间、地点(dian)、人物和事件等要素的文本或视频，呈(cheng)现出看似真实的“新(xin)闻”内容。可(ke)以说，AI技术的应(ying)用，给网络信息生(sheng)态带来(lai)了新(xin)的治理难(nan)题。

AI造谣治理：

提升AI素养是长期解(jie)决方案

AI造谣治理：

提升AI素养是长期解(jie)决方案

从内容生(sheng)产层面来(lai)看，AI技术大大降低了谣言的编造门槛。“有图有真相”根本难(nan)不倒它，何止图片，借助AI工具(ju)，编造音(yin)视频内容也能信手拈来(lai)。AI生(sheng)产出的逼真影像，第(di)一时间冲击观(guan)众的感官系统，情感驱动人们对内容做出直接(jie)反(fan)应(ying)，从而(er)忘记了冷静思(si)考，助力谣言传(chuan)播。

此外，社交媒体上存在大量的“社交机器人”，能够快速、大规模地发布和转发内容，迅速放大虚假信息的传(chuan)播范围和速度，还可(ke)以通过大量发布特定观(guan)点(dian)或情感化内容，影响(xiang)公众对事件的看法，甚至(zhi)改(gai)变舆论走向。以往社交机器人往往比(bi)较粗浅和简单，较容易与真人区分，但当(dang)它们接(jie)入AI大模型，社交机器人生(sheng)产的信息将越来(lai)越像人类创作的内容，转发、评论等互动表现也与真实用户几近一致，变得难(nan)以辨别。

目前，针对AI造谣已有一些应(ying)对措(cuo)施。国家已制定了一系列(lie)明确的法律(lu)法规，对AI造谣行为进行规制和监管，例如《网络音(yin)视频信息服务管理规定》《互联网信息服务深度合成管理规定》《生(sheng)成式(shi)人工智能服务管理办法》等，均对深度合成技术生(sheng)产的内容提出了监管要求，包括不得用于制作、发布、传(chuan)播虚假新(xin)闻信息，制作、发布、传(chuan)播非真实音(yin)视频信息应(ying)当(dang)以显著方式(shi)标识。2024年(nian)9月国家互联网信息办公室发布《人工智能生(sheng)成合成内容标识办法（征求意见稿）》，全国网安标委同时发布了配套的《网络安全技术人工智能生(sheng)成合成内容标识方法》，拟规定在技术层面对AI生(sheng)成内容进行标识。

平台层面，一些社交媒体平台加强内容审核机制，对AI生(sheng)成内容进行标识和提示。如小红书启动了AIGC治理体系建(jian)设，对识别为疑似AI生(sheng)成的内容进行显著标识；抖音(yin)陆续发布了《关(guan)于人工智能生(sheng)成内容的平台规范暨行业倡议(yi)》《AI生(sheng)成虚拟人物治理公告》等一系列(lie)公告，并持(chi)续对多种(zhong)AIGC造假内容进行严厉打击。

此外，还可(ke)“用魔法打败魔法”，即用AI检测AI生(sheng)成内容。国内已有多个团(tuan)队正在投入开发AI生(sheng)成内容检测技术，例如腾讯混元安全团(tuan)队朱雀(que)实验室研(yan)发了一款AI生(sheng)成图片检测系统，通过AI模型来(lai)捕捉(zhuo)真实图片与AI生(sheng)图之间各类特征的差异，包括图片的纹理、语义及隐形特征等进行区分，腾讯称最终(zhong)测试检出率(lu)达95%以上。

在上海交通大学国际与公共事务学院长聘副教授贾开看来(lai)，虽然可(ke)以通过技术手段治理AI合成虚假新(xin)闻的问题，但这只是短期的解(jie)决方案，长期来(lai)看，仍需要提高人的素质和AI伦理意识。

从地震被压儿童和好莱坞大火两个案例来(lai)看，AI生(sheng)成内容并非没有破绽。废(fei)墟掩埋的儿童长有6根手指；好莱坞标志(zhi)牌上有的多了一个字母“L”，有的则多了字母“O”，这些明显的错漏均符合AI生(sheng)成内容的显著特征，但并未引起人们的关(guan)注。甚至(zhi)有的好莱坞燃烧图片下角还带有“Grok AI”的水印，表明其由马斯克旗下公司xAI开发的人工智能工具(ju)生(sheng)成，也被不少(shao)观(guan)众忽略。

一直以来(lai)，提高媒介(jie)素养与信息辨别能力都是网络生(sheng)态治理的关(guan)键(jian)，进入AI时代亦是如此。正如贾开所(suo)言：“我们不能仅仅依赖(lai)技术或制度手段来(lai)应(ying)对AI生(sheng)成虚假信息，人的教育和意识提升才是关(guan)键(jian)，这是一个更(geng)长期的，久久为功的方式(shi)。”

专家意见：

公众源头参与是AI治理关(guan)键(jian)

专家意见：

公众源头参与是AI治理关(guan)键(jian)

AI的不当(dang)应(ying)用，除了会带来(lai)虚假信息泛(fan)滥，更(geng)有违法侵权，引发道德伦理争议(yi)等风(feng)险。据南都大数据研(yan)究院不完全统计，在上述50个国内AI舆情案例中，近半数涉及侵权违法行为，常见案例包括利用AI造谣扰乱社会秩序，触(chu)犯《中华人民共和国治安管理处(chu)罚法》；深度合成技术被用于诈(zha)骗，触(chu)犯《中华人民共和国刑法》；以及未经他(ta)人许可(ke)使用AI换脸(lian)技术，侵犯公民肖像权等。还有24%涉及伦理道德争议(yi)，“AI复活”和“AI恋人”是其中的代表性案例。

AI应(ying)用带来(lai)的风(feng)险是复杂且多维的，在贾开看来(lai)，主要分为三个层面。首先是已被广泛(fan)讨论的算法治理问题，包括算法黑箱、公平性、劳动替代和虚假信息等。其次是技术发展本身的问题，特别是AI生(sheng)成过程中可(ke)能出现的结构性失衡。例如，大模型训练需要大量资源，许多公共机构和普(pu)通研(yan)究者难(nan)以获取，这可(ke)能导致技术的集中化和垄断(duan)，加剧公共与私营部门之间的不平衡，进而(er)影响(xiang)AI应(ying)用的普(pu)惠性，限制其潜(qian)力的发挥。第(di)三个层面则是人的发展问题，AI技术和产品(pin)的发展是一个动态完善的过程，人们无法预知和完全消除其带来(lai)的所(suo)有风(feng)险。如果(guo)人的能力、意识滞后于技术发展，尤其是开发者在智力、安全意识方面滞后，这可(ke)能会带来(lai)更(geng)大的风(feng)险。

而(er)对于AI治理机制，贾开认为，在AI时代，不再会有绝对安全的技术标准。因此，除了制定标准，AI治理机制还必须包括接(jie)受者、被影响(xiang)者以及其他(ta)利益相关(guan)方的参与。换句(ju)话说，普(pu)通公众在这个过程中扮演的角色变得尤为重(zhong)要。但在当(dang)下，人在技术应(ying)用的过程中，如何提升能力，思(si)维如何跟上技术发展，如何增强AI伦理教育、提升AI治理意识，往往是被AI治理所(suo)忽略的重(zhong)要问题。

普(pu)通公众如何参与AI治理？贾开认为，首先需要意识到(dao)AI的变革已经开始并将持(chi)续发展，应(ying)该积极接(jie)受并拥抱这种(zhong)变化。从行为上，公众应(ying)当(dang)更(geng)加积极地参与AI的发展，不仅仅是将AI视为一个技术工具(ju)接(jie)受，更(geng)需要参与到(dao)AI技术的演化过程中，同时，制度上也应(ying)为公众提供参与的空间。例如大模型开源虽然会有很多的争议(yi)和风(feng)险，却可(ke)以使普(pu)通公众也能接(jie)触(chu)和参与AI的研(yan)发。“在当(dang)前时代，公众的参与价值非常高，甚至(zhi)比(bi)技术的进步本身更(geng)为重(zhong)要。参与不仅仅是接(jie)受产品(pin)，更(geng)是从源头上参与，推动技术与社会需求的对接(jie)。”

出品(pin)：南都大数据研(yan)究院

策划：王卫国 邹莹

统筹：张纯 张雨亭

采写：见习记者 陈袁

设计：欧阳静