新治(zhi)理难题：

AI造(zao)谣日(ri)趋频繁

其实早在(zai)2024年(nian)11月(yue)，这张全网热传的被压在(zai)废(fei)墟下的儿童图片已出现在(zai)社交媒(mei)体上，其创作者当(dang)时注明(ming)该图是由AI生成。

地震发生后，这张图被大量自媒(mei)体转发，但图片系(xi)AI生成的附注却消失不见，还带上了日(ri)喀则地震相关词条，以及“祈祷震区朋(peng)友(you)们平(ping)安无事”等文案。这种拼接让观众(zhong)误以为图片是来自灾区的影像。发布账号通过(guo)赚取观众(zhong)同情，获(huo)得(de)流量。

如果说，这种AI造(zao)谣手段是将AI生成图片素材与地震信息肆意拼贴以误导(dao)观众(zhong)，另一(yi)种AI造(zao)谣方式(shi)，则是直接利(li)用AI“无中生有”，由AI根据已有素材或者相关提示词，直接生成文本(ben)、图片及视频等虚假新闻(wen)内容。

同样(yang)在(zai)今(jin)年(nian)1月(yue)，美国加州山火肆虐。1月(yue)12日(ri)，国内社交媒(mei)体上开始流传山火已蔓延到好莱坞的相关图片和视频。视频中，洛杉矶市(shi)郊山顶已经被大火吞噬，著(zhu)名地标“好莱坞”（HOLLYWOOD）广告牌(pai)矗立在(zai)一(yi)片火海中。许多网友(you)信以为真。

事实上，据法新社驻(zhu)洛杉矶记者现场(chang)确(que)认，“好莱坞”未见损毁；全球(qiu)火情监测系(xi)统FIRMS的地图上，也未显示该地附近有火情发生。“好莱坞”燃烧(shao)的视频和图片，其实是由AI生成的，最早出现在(zai)国外“X”平(ping)台上，然后被国内自媒(mei)体搬(ban)运，在(zai)社交平(ping)台上广泛(fan)转载传播(bo)。

利(li)用AI技术造(zao)谣日(ri)趋频繁。南都大数据研究(jiu)院通过(guo)爬取分析2024年(nian)百(bai)度新闻(wen)中搜索(suo)热度较高的国内AI风(feng)险事件相关报道，统计出50个AI相关应用舆情案例，发现其中超1/5与AI造(zao)谣有关。2024年(nian)7月(yue)，四川警方通报了10起AI造(zao)谣典型(xing)案例，其中包括(kuo)用AI生成“云南山体滑(hua)坡致8人遇难”的虚假新闻(wen)、伪造(zao)“喜德县地震”灾情图片，以及编造(zao)“巴中警民对峙”事件等。这些肉眼难辨的AI假新闻(wen)常见于备受关注的议题，很容易挑起观众(zhong)情绪。

用AI“批量化(hua)”生产谣言，甚至已成为一(yi)种牟利(li)手段。2024年(nian)4月(yue)，公(gong)安部通报了一(yi)起MCN机构利(li)用AI造(zao)谣的案例，江西男(nan)子(zi)王某江经营5家MCN机构，运营自媒(mei)体账号842个，组织团队利(li)用AI工(gong)具批量生成虚假消息，单日(ri)产量高达4000至7000篇，其中一(yi)条最高收入可达700元，日(ri)均(jun)收入超过(guo)1万元。

当(dang)下，AI工(gong)具的普及大幅(fu)降低(di)了造(zao)谣成本(ben)，仅需输入简单的关键词，AI软件便可通过(guo)网络抓取相关素材，自动生成包含时间、地点、人物和事件等要素的文本(ben)或视频，呈现出看似真实的“新闻(wen)”内容。可以说，AI技术的应用，给(gei)网络信息生态带来了新的治(zhi)理难题。

AI造(zao)谣治(zhi)理：

提升(sheng)AI素养是长期解(jie)决方案

AI造(zao)谣治(zhi)理：

提升(sheng)AI素养是长期解(jie)决方案

从内容生产层面(mian)来看，AI技术大大降低(di)了谣言的编造(zao)门(men)槛(kan)。“有图有真相”根本(ben)难不倒它，何(he)止图片，借助(zhu)AI工(gong)具，编造(zao)音(yin)视频内容也能信手拈来。AI生产出的逼真影像，第一(yi)时间冲击观众(zhong)的感官(guan)系(xi)统，情感驱动人们对内容做出直接反应，从而忘(wang)记了冷静思考，助(zhu)力谣言传播(bo)。

此(ci)外，社交媒(mei)体上存(cun)在(zai)大量的“社交机器人”，能够快速、大规模地发布和转发内容，迅速放大虚假信息的传播(bo)范围和速度，还可以通过(guo)大量发布特定观点或情感化(hua)内容，影响公(gong)众(zhong)对事件的看法，甚至改变(bian)舆论走向。以往社交机器人往往比(bi)较粗浅和简单，较容易与真人区分，但当(dang)它们接入AI大模型(xing)，社交机器人生产的信息将越来越像人类创作的内容，转发、评(ping)论等互动表现也与真实用户(hu)几近一(yi)致，变(bian)得(de)难以辨别。

目前，针对AI造(zao)谣已有一(yi)些应对措施。国家已制定了一(yi)系(xi)列明(ming)确(que)的法律法规，对AI造(zao)谣行为进行规制和监管，例如《网络音(yin)视频信息服(fu)务管理规定》《互联网信息服(fu)务深度合成管理规定》《生成式(shi)人工(gong)智能服(fu)务管理办法》等，均(jun)对深度合成技术生产的内容提出了监管要求，包括(kuo)不得(de)用于制作、发布、传播(bo)虚假新闻(wen)信息，制作、发布、传播(bo)非真实音(yin)视频信息应当(dang)以显著(zhu)方式(shi)标识。2024年(nian)9月(yue)国家互联网信息办公(gong)室发布《人工(gong)智能生成合成内容标识办法（征求意见稿）》，全国网安标委同时发布了配套的《网络安全技术人工(gong)智能生成合成内容标识方法》，拟(ni)规定在(zai)技术层面(mian)对AI生成内容进行标识。

平(ping)台层面(mian)，一(yi)些社交媒(mei)体平(ping)台加强(qiang)内容审核机制，对AI生成内容进行标识和提示。如小红书启动了AIGC治(zhi)理体系(xi)建(jian)设，对识别为疑似AI生成的内容进行显著(zhu)标识；抖音(yin)陆(lu)续发布了《关于人工(gong)智能生成内容的平(ping)台规范暨行业倡议》《AI生成虚拟(ni)人物治(zhi)理公(gong)告》等一(yi)系(xi)列公(gong)告，并(bing)持续对多种AIGC造(zao)假内容进行严(yan)厉打击。

此(ci)外，还可“用魔法打败(bai)魔法”，即(ji)用AI检测AI生成内容。国内已有多个团队正在(zai)投入开发AI生成内容检测技术，例如腾讯混元安全团队朱雀实验室研发了一(yi)款(kuan)AI生成图片检测系(xi)统，通过(guo)AI模型(xing)来捕(bu)捉真实图片与AI生图之间各类特征的差异，包括(kuo)图片的纹理、语义及隐形特征等进行区分，腾讯称最终测试检出率达95%以上。

在(zai)上海交通大学国际与公(gong)共(gong)事务学院长聘副教授贾开看来，虽然可以通过(guo)技术手段治(zhi)理AI合成虚假新闻(wen)的问题，但这只是短期的解(jie)决方案，长期来看，仍(reng)需要提高人的素质和AI伦(lun)理意识。

从地震被压儿童和好莱坞大火两个案例来看，AI生成内容并(bing)非没有破绽。废(fei)墟掩埋的儿童长有6根手指；好莱坞标志牌(pai)上有的多了一(yi)个字母“L”，有的则多了字母“O”，这些明(ming)显的错漏均(jun)符合AI生成内容的显著(zhu)特征，但并(bing)未引(yin)起人们的关注。甚至有的好莱坞燃烧(shao)图片下角还带有“Grok AI”的水(shui)印，表明(ming)其由马斯克旗下公(gong)司xAI开发的人工(gong)智能工(gong)具生成，也被不少观众(zhong)忽略(lue)。

一(yi)直以来，提高媒(mei)介素养与信息辨别能力都是网络生态治(zhi)理的关键，进入AI时代(dai)亦是如此(ci)。正如贾开所言：“我们不能仅仅依赖技术或制度手段来应对AI生成虚假信息，人的教育和意识提升(sheng)才是关键，这是一(yi)个更长期的，久(jiu)久(jiu)为功的方式(shi)。”

专家意见：

公(gong)众(zhong)源头参与是AI治(zhi)理关键

专家意见：

公(gong)众(zhong)源头参与是AI治(zhi)理关键

AI的不当(dang)应用，除了会带来虚假信息泛(fan)滥，更有违法侵权，引(yin)发道德伦(lun)理争议等风(feng)险。据南都大数据研究(jiu)院不完全统计，在(zai)上述50个国内AI舆情案例中，近半数涉及侵权违法行为，常见案例包括(kuo)利(li)用AI造(zao)谣扰乱社会秩序，触犯(fan)《中华人民共(gong)和国治(zhi)安管理处罚法》；深度合成技术被用于诈骗，触犯(fan)《中华人民共(gong)和国刑法》；以及未经他(ta)人许可使用AI换(huan)脸技术，侵犯(fan)公(gong)民肖像权等。还有24%涉及伦(lun)理道德争议，“AI复(fu)活”和“AI恋人”是其中的代(dai)表性案例。

AI应用带来的风(feng)险是复(fu)杂且多维的，在(zai)贾开看来，主要分为三个层面(mian)。首先是已被广泛(fan)讨(tao)论的算法治(zhi)理问题，包括(kuo)算法黑箱、公(gong)平(ping)性、劳(lao)动替代(dai)和虚假信息等。其次是技术发展本(ben)身的问题，特别是AI生成过(guo)程中可能出现的结构性失衡。例如，大模型(xing)训练(lian)需要大量资源，许多公(gong)共(gong)机构和普通研究(jiu)者难以获(huo)取，这可能导(dao)致技术的集中化(hua)和垄断，加剧公(gong)共(gong)与私营部门(men)之间的不平(ping)衡，进而影响AI应用的普惠性，限制其潜力的发挥。第三个层面(mian)则是人的发展问题，AI技术和产品的发展是一(yi)个动态完善的过(guo)程，人们无法预知和完全消除其带来的所有风(feng)险。如果人的能力、意识滞后于技术发展，尤其是开发者在(zai)智力、安全意识方面(mian)滞后，这可能会带来更大的风(feng)险。

而对于AI治(zhi)理机制，贾开认为，在(zai)AI时代(dai)，不再(zai)会有绝对安全的技术标准。因(yin)此(ci)，除了制定标准，AI治(zhi)理机制还必须包括(kuo)接受者、被影响者以及其他(ta)利(li)益相关方的参与。换(huan)句话说，普通公(gong)众(zhong)在(zai)这个过(guo)程中扮演的角色变(bian)得(de)尤为重要。但在(zai)当(dang)下，人在(zai)技术应用的过(guo)程中，如何(he)提升(sheng)能力，思维如何(he)跟上技术发展，如何(he)增强(qiang)AI伦(lun)理教育、提升(sheng)AI治(zhi)理意识，往往是被AI治(zhi)理所忽略(lue)的重要问题。

普通公(gong)众(zhong)如何(he)参与AI治(zhi)理？贾开认为，首先需要意识到AI的变(bian)革已经开始并(bing)将持续发展，应该积极接受并(bing)拥抱这种变(bian)化(hua)。从行为上，公(gong)众(zhong)应当(dang)更加积极地参与AI的发展，不仅仅是将AI视为一(yi)个技术工(gong)具接受，更需要参与到AI技术的演化(hua)过(guo)程中，同时，制度上也应为公(gong)众(zhong)提供参与的空间。例如大模型(xing)开源虽然会有很多的争议和风(feng)险，却可以使普通公(gong)众(zhong)也能接触和参与AI的研发。“在(zai)当(dang)前时代(dai)，公(gong)众(zhong)的参与价值非常高，甚至比(bi)技术的进步本(ben)身更为重要。参与不仅仅是接受产品，更是从源头上参与，推动技术与社会需求的对接。”

出品：南都大数据研究(jiu)院

策(ce)划：王卫国 邹莹

统筹：张纯 张雨亭(ting)

采写：见习记者 陈袁

设计：欧阳静