典型的例子是，2023年6月，美国律师史蒂文·施瓦茨接受委托，为一名搭乘哥伦比亚航空公司飞机的乘客辩护，后者因(yin)一个(ge)金属(shu)餐盘砸伤腿而索赔。施瓦茨使用ChatGPT搜索，在法庭(ting)上引用了(le)6个(ge)并不(bu)存在的法律案例。后来被法庭(ting)指(zhi)出后，施瓦茨承认是ChatGPT杜撰了(le)一切(qie)，并向法官道歉，被罚5000美元。

AI自我造假当然意味着AI有缺陷，具体表现为几个(ge)方面(mian)：一是“幻觉”；二是“机器欺骗”；‌三是训练技术不(bu)完善。尽(jin)管幻觉这一术语(yu)尚未得到学(xue)术界的统一认可，但是幻觉和机器欺骗其实(shi)是一个(ge)问题的两个(ge)方面(mian)。

幻觉是指(zhi)AI模型生成(cheng)的内容在逻辑上自洽但与(yu)现实(shi)不(bu)符，表现为虚构(gou)事实(shi)、人物、事件等(deng)，捏造历史事件细节(jie)或提供不(bu)存在的科(ke)学(xue)假说或理论。机器欺骗是指(zhi)AI模型生成(cheng)的内容逻辑自洽，或看(kan)似合理，但同样是现实(shi)中不(bu)存在的事物或现象，如虚构(gou)不(bu)存在的学(xue)术论文、法律案件，或对自身(shen)能力进行夸大描述(shu)‌等(deng)。

无论是形(xing)式或内容上的AI自我造假，都会歪曲或重(zhong)新解构(gou)事实(shi)、真相、理念和价值判断，让人们(men)对世界的真实(shi)性产生误解，并产生极为严重(zhong)的后果。

而且，AI自我造假的危害，可能并不(bu)限于经济损失和信息污染，还有可能阻碍(ai)AI自身(shen)的发展。毕竟，人们(men)很难相信那些说“狼来了(le)”的撒谎者。

AI的理解与(yu)人的理解并不(bu)一致

AI自我造假的根(gen)本原因(yin)在于，人类研发生成(cheng)式AI的方式和机制本身(shen)就有不(bu)足。虽(sui)然目前的研究还不(bu)足以揭示AI为何自我造假，但一些研究和观察(cha)提供了(le)某些线索。

生成(cheng)式AI其实(shi)并不(bu)知道它生成(cheng)和输出的内容是什么，因(yin)为它们(men)只是依据(ju)训练数据(ju)中的内容、数据(ju)和模式，并且根(gen)据(ju)人类测试者反馈等(deng)技术进行一定微(wei)调后，对提问者提出的内容给出在统计上可能性较高的回复(fu)，或提供一个(ge)产品。

这也(ye)涉及生成(cheng)式AI模型对自然语(yu)言的理解。尽(jin)管训练大语(yu)言模型时，采用的是自然语(yu)言来预测短(duan)语(yu)中下(xia)一个(ge)可能出现的词语(yu)，如符合语(yu)法，或者说被AI所“理解”，但是AI的理解与(yu)人的理解并不(bu)一致。

因(yin)此(ci)，AI生成(cheng)的内容要么是不(bu)合逻辑也(ye)不(bu)符合事实(shi)，要么是符合逻辑但不(bu)符合事实(shi)。

这个(ge)问题其实(shi)也(ye)对人类提出了(le)新的挑(tiao)战(zhan)：生成(cheng)式AI确切(qie)的内部(bu)工作原理对人而言是神秘的，研发生成(cheng)式AI的研究者并不(bu)很清楚生成(cheng)式AI的深层工作原理。这也(ye)被视为生成(cheng)式AI的两面(mian)性：优点是除了(le)能回答很多(duo)问题并帮助人们(men)生成(cheng)各种(zhong)文本、视频外，还具有创造性，但是这种(zhong)创造性可能是人们(men)难以控制的，至少在目前看(kan)来是如此(ci)。

目前，人们(men)用以开发生成(cheng)式AI的训练的方式，也(ye)决定了(le)它们(men)可能自我造假。

大语(yu)言模型是通过压缩数据(ju)来工作。在训练过程中，这些模型被投喂了(le)上万亿的词汇、短(duan)语(yu)、句子，而且这些语(yu)言成(cheng)分之间又(you)按(an)自然语(yu)言的语(yu)法、逻辑形(xing)成(cheng)了(le)一些固定的关(guan)系，它们(men)被压缩成(cheng)数十亿个(ge)参数的数据(ju)，输入到AI的人工神经元（人工智能的基本成(cheng)分）中，并让其学(xue)习。这种(zhong)情(qing)况也(ye)决定了(le)人工神经元之间的连接强度有变量。

在完成(cheng)任务或回答人们(men)提问时，AI是在拆分它们(men)所学(xue)习的内容，把那些压缩的统计数据(ju)和模式再次展开。在这个(ge)过程中，必然会丢失一些信息。AI在拆分和再次展开它们(men)所学(xue)习的信息时，大约能重(zhong)构(gou)出近98%的训练内容，但在剩(sheng)下(xia)的2%中，它们(men)可能会完全偏离(li)事实(shi)和逻辑，提供出部(bu)分或完全错误的产品和答案。

这个(ge)过程有点像基因(yin)表达以生产蛋白质一样，先是转录，以DNA为模板(ban)合成(cheng)RNA，再以RNA作为模板(ban)生成(cheng)蛋白质，即翻译。在转录和翻译的过程中任何一处出现失误，就有可能造成(cheng)蛋白质生成(cheng)的偏差，更(geng)何况基因(yin)本身(shen)发生突变也(ye)会导致蛋白产品的偏差和缺失，因(yin)而会产生各种(zhong)疾病。

用户(hu)如何应对AI自我造假

AI编造虚假信息的时候也(ye)具有创造性，但是这种(zhong)创造性是它们(men)在搜寻自己被投喂的数据(ju)不(bu)够时的一种(zhong)“急(ji)中生智”。

例如，当有人询问AI法国女作家安妮·埃尔诺是否为诺贝尔文学(xue)奖获得者时，它的回答很正确，还会给出代表作和写作风格，甚至个(ge)人的生活细节(jie)，因(yin)为埃尔诺是2022年的诺贝尔文学(xue)奖获得者，这是确定的事实(shi)，她的种(zhong)种(zhong)信息非常充分。

但是，你问住在广州某某市某某小区的某个(ge)人写了(le)多(duo)少作品时，AI就有可能胡说八道了(le)。因(yin)为这个(ge)人并非作家，但是AI会根(gen)据(ju)你的提问认为这个(ge)人是作家，而且根(gen)据(ju)一般作家的风格来杜撰这人的代表作和作品名称。

由此(ci)也(ye)可看(kan)出，AI的自我造假也(ye)有使用者的提示作用。

AI自我造假当然可以在一定程度上预防。一方面(mian)是改(gai)善对AI的训练，如可以通过检索增强生成(cheng)（RAG）、事实(shi)核查、自我反思、一致性检查等(deng)方法来对AI大模型进行优化，增强其准(zhun)确性，减少和避免其一本正经地胡说八道。

另一方面(mian)，使用生成(cheng)式AI的用户(hu)，应当养(yang)成(cheng)对AI产出的产品和答案不(bu)轻(qing)信的原则，在获取答案后，进行必要的交叉验证。此(ci)外，在和AI对话时，要为AI添加限制性条件，如先把一些条件和参考(kao)数据(ju)发给AI，让其严格按(an)用户(hu)提供的资料(liao)进行搜索和生成(cheng)产品。

当然，长期(qi)来看(kan)，AI自我造假的bug还需开发者不(bu)断填补(bu)，让AI真正走向精准(zhun)的、靠谱的智能。（作者系科(ke)普专(zhuan)栏作家）