典(dian)型的例子是，2023年6月，美国(guo)律师史蒂文·施瓦茨接(jie)受委托，为(wei)一(yi)名搭乘哥伦比亚航空公司飞机的乘客(ke)辩护(hu)，后(hou)者因(yin)一(yi)个金属餐盘砸伤腿而索赔。施瓦茨使用ChatGPT搜索，在法庭上引用了6个并不存在的法律案例。后(hou)来(lai)被法庭指出后(hou)，施瓦茨承认是ChatGPT杜撰了一(yi)切，并向法官道歉，被罚5000美元。

AI自我造假当然(ran)意(yi)味(wei)着AI有(you)缺陷，具体表现为(wei)几个方面(mian)：一(yi)是“幻觉(jue)”；二是“机器(qi)欺骗”；‌三是训(xun)练(lian)技术不完善。尽管幻觉(jue)这一(yi)术语尚未得到学术界的统一(yi)认可，但是幻觉(jue)和机器(qi)欺骗其实是一(yi)个问题的两个方面(mian)。

幻觉(jue)是指AI模(mo)型生成(cheng)的内容在逻辑(ji)上自洽但与(yu)现实不符，表现为(wei)虚(xu)构事实、人物、事件等，捏造历(li)史事件细(xi)节或提供不存在的科学假说或理(li)论(lun)。机器(qi)欺骗是指AI模(mo)型生成(cheng)的内容逻辑(ji)自洽，或看(kan)似合理(li)，但同样是现实中不存在的事物或现象，如虚(xu)构不存在的学术论(lun)文、法律案件，或对自身能力进(jin)行夸大描述‌等。

无论(lun)是形式或内容上的AI自我造假，都会歪曲或重新(xin)解构事实、真相、理(li)念和价值判(pan)断，让人们(men)对世界的真实性产生误解，并产生极为(wei)严重的后(hou)果。

而且，AI自我造假的危害(hai)，可能并不限于经(jing)济损失和信息污染，还有(you)可能阻碍AI自身的发展。毕竟(jing)，人们(men)很难相信那些说“狼(lang)来(lai)了”的撒谎者。

AI的理(li)解与(yu)人的理(li)解并不一(yi)致

AI自我造假的根本原因(yin)在于，人类研发生成(cheng)式AI的方式和机制本身就有(you)不足。虽然(ran)目前的研究还不足以揭示AI为(wei)何自我造假，但一(yi)些研究和观(guan)察提供了某些线索。

生成(cheng)式AI其实并不知道它(ta)生成(cheng)和输出的内容是什么(me)，因(yin)为(wei)它(ta)们(men)只是依据训(xun)练(lian)数(shu)据中的内容、数(shu)据和模(mo)式，并且根据人类测试者反馈等技术进(jin)行一(yi)定微调(diao)后(hou)，对提问者提出的内容给出在统计(ji)上可能性较高的回复，或提供一(yi)个产品。

这也涉及生成(cheng)式AI模(mo)型对自然(ran)语言的理(li)解。尽管训(xun)练(lian)大语言模(mo)型时，采用的是自然(ran)语言来(lai)预测短语中下一(yi)个可能出现的词(ci)语，如符合语法，或者说被AI所“理(li)解”，但是AI的理(li)解与(yu)人的理(li)解并不一(yi)致。

因(yin)此，AI生成(cheng)的内容要么(me)是不合逻辑(ji)也不符合事实，要么(me)是符合逻辑(ji)但不符合事实。

这个问题其实也对人类提出了新(xin)的挑战：生成(cheng)式AI确切的内部工(gong)作原理(li)对人而言是神秘的，研发生成(cheng)式AI的研究者并不很清楚生成(cheng)式AI的深层(ceng)工(gong)作原理(li)。这也被视为(wei)生成(cheng)式AI的两面(mian)性：优(you)点(dian)是除了能回答很多问题并帮助人们(men)生成(cheng)各(ge)种文本、视频外，还具有(you)创造性，但是这种创造性可能是人们(men)难以控制的，至少在目前看(kan)来(lai)是如此。

目前，人们(men)用以开发生成(cheng)式AI的训(xun)练(lian)的方式，也决(jue)定了它(ta)们(men)可能自我造假。

大语言模(mo)型是通过压(ya)缩(suo)数(shu)据来(lai)工(gong)作。在训(xun)练(lian)过程中，这些模(mo)型被投喂了上万亿的词(ci)汇、短语、句子，而且这些语言成(cheng)分(fen)之间又按自然(ran)语言的语法、逻辑(ji)形成(cheng)了一(yi)些固定的关系，它(ta)们(men)被压(ya)缩(suo)成(cheng)数(shu)十亿个参数(shu)的数(shu)据，输入到AI的人工(gong)神经(jing)元（人工(gong)智(zhi)能的基(ji)本成(cheng)分(fen)）中，并让其学习。这种情况也决(jue)定了人工(gong)神经(jing)元之间的连接(jie)强度有(you)变量(liang)。

在完成(cheng)任务或回答人们(men)提问时，AI是在拆分(fen)它(ta)们(men)所学习的内容，把那些压(ya)缩(suo)的统计(ji)数(shu)据和模(mo)式再次展开。在这个过程中，必然(ran)会丢失一(yi)些信息。AI在拆分(fen)和再次展开它(ta)们(men)所学习的信息时，大约能重构出近98%的训(xun)练(lian)内容，但在剩下的2%中，它(ta)们(men)可能会完全偏离事实和逻辑(ji)，提供出部分(fen)或完全错误的产品和答案。

这个过程有(you)点(dian)像基(ji)因(yin)表达以生产蛋(dan)白质一(yi)样，先是转录，以DNA为(wei)模(mo)板合成(cheng)RNA，再以RNA作为(wei)模(mo)板生成(cheng)蛋(dan)白质，即(ji)翻(fan)译。在转录和翻(fan)译的过程中任何一(yi)处出现失误，就有(you)可能造成(cheng)蛋(dan)白质生成(cheng)的偏差(cha)，更何况基(ji)因(yin)本身发生突变也会导致蛋(dan)白产品的偏差(cha)和缺失，因(yin)而会产生各(ge)种疾病。

用户如何应对AI自我造假

AI编造虚(xu)假信息的时候也具有(you)创造性，但是这种创造性是它(ta)们(men)在搜寻自己被投喂的数(shu)据不够时的一(yi)种“急中生智(zhi)”。

例如，当有(you)人询(xun)问AI法国(guo)女作家安妮·埃尔诺是否为(wei)诺贝尔文学奖(jiang)获得者时，它(ta)的回答很正确，还会给出代表作和写作风格(ge)，甚至个人的生活细(xi)节，因(yin)为(wei)埃尔诺是2022年的诺贝尔文学奖(jiang)获得者，这是确定的事实，她(ta)的种种信息非常(chang)充分(fen)。

但是，你问住(zhu)在广(guang)州某某市某某小区的某个人写了多少作品时，AI就有(you)可能胡说八道了。因(yin)为(wei)这个人并非作家，但是AI会根据你的提问认为(wei)这个人是作家，而且根据一(yi)般作家的风格(ge)来(lai)杜撰这人的代表作和作品名称。

由此也可看(kan)出，AI的自我造假也有(you)使用者的提示作用。

AI自我造假当然(ran)可以在一(yi)定程度上预防。一(yi)方面(mian)是改(gai)善对AI的训(xun)练(lian)，如可以通过检索增强生成(cheng)（RAG）、事实核(he)查、自我反思、一(yi)致性检查等方法来(lai)对AI大模(mo)型进(jin)行优(you)化，增强其准(zhun)确性，减少和避免其一(yi)本正经(jing)地胡说八道。

另一(yi)方面(mian)，使用生成(cheng)式AI的用户，应当养成(cheng)对AI产出的产品和答案不轻(qing)信的原则，在获取答案后(hou)，进(jin)行必要的交叉(cha)验证。此外，在和AI对话(hua)时，要为(wei)AI添加限制性条件，如先把一(yi)些条件和参考数(shu)据发给AI，让其严格(ge)按用户提供的资料进(jin)行搜索和生成(cheng)产品。

当然(ran)，长期来(lai)看(kan)，AI自我造假的bug还需开发者不断填补，让AI真正走向精准(zhun)的、靠谱的智(zhi)能。（作者系科普专栏作家）