新治(zhi)理难题：

AI造谣日趋频繁

其实(shi)早在(zai)2024年11月，这张全网热传的被压在(zai)废墟下的儿童图片已出(chu)现在(zai)社交媒体上，其创作者当时(shi)注明该图是由AI生成。

地(di)震发生后，这张图被大量自媒体转(zhuan)发，但图片系(xi)AI生成的附注却消(xiao)失不(bu)见，还带上了日喀则地(di)震相关词条，以及“祈祷震区朋友们平安无事”等文案。这种拼(pin)接(jie)让观众误以为图片是来自灾区的影像。发布账号通过(guo)赚取观众同(tong)情，获得流量。

如果说，这种AI造谣手段是将(jiang)AI生成图片素材与地(di)震信息肆意(yi)拼(pin)贴(tie)以误导观众，另一种AI造谣方式，则是直接(jie)利用AI“无中生有”，由AI根据已有素材或者相关提(ti)示词，直接(jie)生成文本、图片及视频等虚假新闻内容。

同(tong)样在(zai)今年1月，美(mei)国加州山(shan)火肆虐。1月12日，国内社交媒体上开始流传山(shan)火已蔓延到好莱坞的相关图片和视频。视频中，洛杉矶市郊山(shan)顶已经被大火吞噬，著名地(di)标“好莱坞”（HOLLYWOOD）广(guang)告牌矗立在(zai)一片火海中。许多网友信以为真。

事实(shi)上，据法新社驻洛杉矶记者现场确认，“好莱坞”未(wei)见损毁；全球(qiu)火情监测系(xi)统FIRMS的地(di)图上，也未(wei)显示该地(di)附近有火情发生。“好莱坞”燃烧(shao)的视频和图片，其实(shi)是由AI生成的，最早出(chu)现在(zai)国外“X”平台上，然后被国内自媒体搬运，在(zai)社交平台上广(guang)泛转(zhuan)载传播(bo)。

利用AI技术造谣日趋频繁。南都大数据研究院通过(guo)爬取分析2024年百度新闻中搜索热度较高的国内AI风险事件相关报道，统计出(chu)50个AI相关应用舆情案例，发现其中超1/5与AI造谣有关。2024年7月，四川警方通报了10起AI造谣典(dian)型案例，其中包括用AI生成“云(yun)南山(shan)体滑坡致8人遇难”的虚假新闻、伪造“喜(xi)德县地(di)震”灾情图片，以及编造“巴(ba)中警民对峙(zhi)”事件等。这些肉眼难辨的AI假新闻常(chang)见于备受(shou)关注的议题，很容易挑起观众情绪。

用AI“批量化”生产谣言，甚至已成为一种牟利手段。2024年4月，公安部通报了一起MCN机构利用AI造谣的案例，江西男子王(wang)某江经营5家MCN机构，运营自媒体账号842个，组织团队利用AI工具批量生成虚假消(xiao)息，单(dan)日产量高达4000至7000篇，其中一条最高收入可达700元，日均收入超过(guo)1万元。

当下，AI工具的普及大幅降低了造谣成本，仅需输入简单(dan)的关键词，AI软(ruan)件便(bian)可通过(guo)网络(luo)抓取相关素材，自动生成包含时(shi)间、地(di)点、人物和事件等要素的文本或视频，呈(cheng)现出(chu)看似真实(shi)的“新闻”内容。可以说，AI技术的应用，给网络(luo)信息生态带来了新的治(zhi)理难题。

AI造谣治(zhi)理：

提(ti)升AI素养是长期解决方案

AI造谣治(zhi)理：

提(ti)升AI素养是长期解决方案

从内容生产层面来看，AI技术大大降低了谣言的编造门槛。“有图有真相”根本难不(bu)倒(dao)它，何止图片，借助AI工具，编造音视频内容也能信手拈(nian)来。AI生产出(chu)的逼真影像，第(di)一时(shi)间冲(chong)击观众的感官系(xi)统，情感驱(qu)动人们对内容做出(chu)直接(jie)反应，从而忘记了冷静思考(kao)，助力谣言传播(bo)。

此外，社交媒体上存在(zai)大量的“社交机器人”，能够快速(su)、大规模地(di)发布和转(zhuan)发内容，迅速(su)放大虚假信息的传播(bo)范围和速(su)度，还可以通过(guo)大量发布特定观点或情感化内容，影响公众对事件的看法，甚至改变舆论走向。以往社交机器人往往比较粗(cu)浅和简单(dan)，较容易与真人区分，但当它们接(jie)入AI大模型，社交机器人生产的信息将(jiang)越来越像人类创作的内容，转(zhuan)发、评(ping)论等互动表现也与真实(shi)用户几近一致，变得难以辨别。

目前，针对AI造谣已有一些应对措施(shi)。国家已制定了一系(xi)列明确的法律法规，对AI造谣行为进(jin)行规制和监管，例如《网络(luo)音视频信息服务管理规定》《互联网信息服务深度合成管理规定》《生成式人工智能服务管理办法》等，均对深度合成技术生产的内容提(ti)出(chu)了监管要求(qiu)，包括不(bu)得用于制作、发布、传播(bo)虚假新闻信息，制作、发布、传播(bo)非真实(shi)音视频信息应当以显著方式标识。2024年9月国家互联网信息办公室发布《人工智能生成合成内容标识办法（征求(qiu)意(yi)见稿）》，全国网安标委同(tong)时(shi)发布了配套的《网络(luo)安全技术人工智能生成合成内容标识方法》，拟规定在(zai)技术层面对AI生成内容进(jin)行标识。

平台层面，一些社交媒体平台加强内容审核(he)机制，对AI生成内容进(jin)行标识和提(ti)示。如小红书启动了AIGC治(zhi)理体系(xi)建设，对识别为疑似AI生成的内容进(jin)行显著标识；抖音陆(lu)续发布了《关于人工智能生成内容的平台规范暨行业(ye)倡议》《AI生成虚拟人物治(zhi)理公告》等一系(xi)列公告，并持续对多种AIGC造假内容进(jin)行严(yan)厉打击。

此外，还可“用魔法打败魔法”，即用AI检测AI生成内容。国内已有多个团队正(zheng)在(zai)投入开发AI生成内容检测技术，例如腾讯混元安全团队朱雀实(shi)验室研发了一款AI生成图片检测系(xi)统，通过(guo)AI模型来捕捉真实(shi)图片与AI生图之间各类特征的差异，包括图片的纹理、语义(yi)及隐形特征等进(jin)行区分，腾讯称(cheng)最终测试检出(chu)率达95%以上。

在(zai)上海交通大学(xue)国际与公共事务学(xue)院长聘(pin)副教(jiao)授贾开看来，虽然可以通过(guo)技术手段治(zhi)理AI合成虚假新闻的问题，但这只是短期的解决方案，长期来看，仍需要提(ti)高人的素质和AI伦理意(yi)识。

从地(di)震被压儿童和好莱坞大火两个案例来看，AI生成内容并非没有破绽。废墟掩埋的儿童长有6根手指；好莱坞标志牌上有的多了一个字母“L”，有的则多了字母“O”，这些明显的错(cuo)漏均符合AI生成内容的显著特征，但并未(wei)引(yin)起人们的关注。甚至有的好莱坞燃烧(shao)图片下角还带有“Grok AI”的水印，表明其由马斯克旗下公司xAI开发的人工智能工具生成，也被不(bu)少(shao)观众忽略。

一直以来，提(ti)高媒介(jie)素养与信息辨别能力都是网络(luo)生态治(zhi)理的关键，进(jin)入AI时(shi)代亦是如此。正(zheng)如贾开所言：“我们不(bu)能仅仅依赖技术或制度手段来应对AI生成虚假信息，人的教(jiao)育和意(yi)识提(ti)升才是关键，这是一个更(geng)长期的，久久为功的方式。”

专家意(yi)见：

公众源(yuan)头参与是AI治(zhi)理关键

专家意(yi)见：

公众源(yuan)头参与是AI治(zhi)理关键

AI的不(bu)当应用，除了会带来虚假信息泛滥，更(geng)有违法侵(qin)权，引(yin)发道德伦理争议等风险。据南都大数据研究院不(bu)完全统计，在(zai)上述50个国内AI舆情案例中，近半数涉及侵(qin)权违法行为，常(chang)见案例包括利用AI造谣扰乱社会秩序，触犯《中华人民共和国治(zhi)安管理处罚法》；深度合成技术被用于诈骗，触犯《中华人民共和国刑法》；以及未(wei)经他人许可使用AI换脸技术，侵(qin)犯公民肖像权等。还有24%涉及伦理道德争议，“AI复活”和“AI恋(lian)人”是其中的代表性(xing)案例。

AI应用带来的风险是复杂且(qie)多维的，在(zai)贾开看来，主要分为三个层面。首先是已被广(guang)泛讨论的算法治(zhi)理问题，包括算法黑箱、公平性(xing)、劳动替代和虚假信息等。其次是技术发展(zhan)本身的问题，特别是AI生成过(guo)程中可能出(chu)现的结构性(xing)失衡。例如，大模型训练需要大量资源(yuan)，许多公共机构和普通研究者难以获取，这可能导致技术的集中化和垄断，加剧公共与私营部门之间的不(bu)平衡，进(jin)而影响AI应用的普惠性(xing)，限制其潜力的发挥。第(di)三个层面则是人的发展(zhan)问题，AI技术和产品的发展(zhan)是一个动态完善的过(guo)程，人们无法预知和完全消(xiao)除其带来的所有风险。如果人的能力、意(yi)识滞后于技术发展(zhan)，尤其是开发者在(zai)智力、安全意(yi)识方面滞后，这可能会带来更(geng)大的风险。

而对于AI治(zhi)理机制，贾开认为，在(zai)AI时(shi)代，不(bu)再会有绝(jue)对安全的技术标准。因此，除了制定标准，AI治(zhi)理机制还必(bi)须包括接(jie)受(shou)者、被影响者以及其他利益相关方的参与。换句话说，普通公众在(zai)这个过(guo)程中扮演的角色变得尤为重要。但在(zai)当下，人在(zai)技术应用的过(guo)程中，如何提(ti)升能力，思维如何跟上技术发展(zhan)，如何增强AI伦理教(jiao)育、提(ti)升AI治(zhi)理意(yi)识，往往是被AI治(zhi)理所忽略的重要问题。

普通公众如何参与AI治(zhi)理？贾开认为，首先需要意(yi)识到AI的变革已经开始并将(jiang)持续发展(zhan)，应该积(ji)极接(jie)受(shou)并拥抱这种变化。从行为上，公众应当更(geng)加积(ji)极地(di)参与AI的发展(zhan)，不(bu)仅仅是将(jiang)AI视为一个技术工具接(jie)受(shou)，更(geng)需要参与到AI技术的演化过(guo)程中，同(tong)时(shi)，制度上也应为公众提(ti)供参与的空间。例如大模型开源(yuan)虽然会有很多的争议和风险，却可以使普通公众也能接(jie)触和参与AI的研发。“在(zai)当前时(shi)代，公众的参与价值非常(chang)高，甚至比技术的进(jin)步本身更(geng)为重要。参与不(bu)仅仅是接(jie)受(shou)产品，更(geng)是从源(yuan)头上参与，推动技术与社会需求(qiu)的对接(jie)。”

出(chu)品：南都大数据研究院

策划：王(wang)卫国 邹莹

统筹：张纯 张雨亭

采写：见习记者 陈(chen)袁

设计：欧阳静