AI 一本正经地胡说八道

你遇到的到底是什么

这类输出有个名字：AI 幻觉（hallucination）——内容看着有理有据、语气笃定、结构齐整，但其中的事实、引文或推断没有依据。它和「答错」的边界要划清楚：答错是把一件真事说岔了，幻觉是凭空生成了一个本来不存在的依据。前者你可能靠常识发现，后者只能靠去核，因为它不与你已知的东西冲突——它填的是你本来就不知道的那一块。

难被当场识破，不是因为你不够仔细。一段有来源的话和一段没有来源的话，在措辞上长得一模一样；屏幕上能看到的只有流畅度和自信度，而这两样和真假无关。公开评测 TruthfulQA 记录的正是这件事：模型会流畅地复述人群中流传的错误说法，而且模型规模变大并不自动让它在这项上变好。

为什么会这样

三条机制叠在一起，少了任何一条都不会这么严重。每条后面附上它在你屏幕上的样子——机制说不清楚就没法处置。

• 它没有「不回答」这个默认档。面对任何一句话，它都必须接着生成下一句；没有可核验的来源时，它交出的是「最像一个答案的东西」。所以你看到的自信不是对内容的自信，是对措辞的自信。屏幕上的样子：你随口问一个根本不存在的东西，它也能给你一段结构完整、语气平稳的介绍。
• 你的纠正留不下来。多数产品没有可核验的记忆层，你上一次指出的错只存在于会滑出上下文窗口的聊天记录里，没有被写成一条能被再次调用的事实。屏幕上的样子：同一个错误你已经改过三次，它第四次照旧。
• 训练与评测更奖励「给出答案」而不是「说查不到」。一个坦白答不上来的回答，在打分里几乎总是输给一个编得像模像样的回答，于是「宁可编也不空着」被固化成了行为倾向。屏幕上的样子：你追问出处，它不会说没有——它会当场给你生成一个出处。

四种真实的失败形态，各配一个当场能做的动作

「幻觉」这个词太笼统，笼统到没法处置。拆成四种，每一种要做的验证动作不一样——按你手上这段回答属于哪一种去挑。

• 自信断言，但给不出出处。最常见，也最好办。动作：追问一次出处。它给不出、或者绕开你的问题把结论换个说法再讲一遍，这一段就按没有依据处理，别再往下用。
• 引用格式完美，但那篇文献不存在。刊名、卷期、页码、DOI 一应俱全——因为「生成一条符合引用格式的字符串」和「生成一条真实存在的引用」，对模型来说是同一件事，难度一样。动作：拿完整标题去数据库做精确匹配，或直接解析 DOI；不要搜关键词，关键词总能搜到「差不多的东西」，你就是在那一步被说服的。展开看参考文献格式完美却查不到。
• 把过时的事实当成现状。这一类最不像幻觉，因为它曾经是对的，你也可能记得它是对的。动作：凡是会变的结论（政策、版本、职位、名单、排名），都追问一句「这是什么时间的情况」，并以一手来源的最新一版为准。
• 把你说过的话回写成「事实」再引给你。你在前面提过一个假设，几轮之后它作为既定事实出现在结论里，还被拿去支撑下一步推断。这一类最隐蔽，因为它引用的正是你自己的话，你读着当然觉得对。动作：问「这条是我告诉你的，还是你从别处得到的」——你自己提供的前提可以当输入，不能当证据。

一次性的缓解

下面四条按力度从弱到强排，都能在这一轮对话里当场做。也先把代价说清楚：每条都要多花一到两轮，而且只在你已经起疑的那一段上生效——你没起疑的地方，它照样过去了。

1. 追问出处，并且给它一条说「查不到」的出路。三种问法比笼统地问「有依据吗」有用得多：「这条的来源是什么，什么时间的？」「把原话贴出来，不要转述。」「如果查不到，就直接说查不到。」第三句是关键——你得先让「不知道」成为一个被允许的回答，否则它只剩下编这一条路。
2. 让它把一段回答拆成三层，逐句标注：有出处的 / 它自己推导的 / 它也不知道的。标不出来的那一层，就是这段话的幻觉高发区。这条比说「别乱说」有效，因为它把「不知道」变成了一个必须填的格子，而不是一个可以跳过的选项。
3. 把依据和结论分两次要。先只要依据（来源、时间、原话），你看过之后再让它给结论。顺序反过来，依据就会被写成配合结论的样子——你拿到的不是证据，是给结论配的装饰。
4. 换一个前提相反的问法再问一次：「有没有相反的证据」「哪些情况下这条不成立」。如果它同样自信地支持反面，说明这段话从一开始就不是从依据里长出来的。这一条最费事，但也最能一次问到底。

根上的解法

先把一件事说破，否则上面四条会给人虚假的安心：要求出处 ≠ 得到真出处。生成一条格式正确但不存在的引用，和生成一条真实的引用，对模型来说难度一样，所以「它给了出处」本身不构成证据。判据只有一条，而且必须由你这一侧完成：这条出处我能不能打开，打开之后它是不是真的支持这句话。打不开的、打开了却讲着别的事的，都按没有出处算。

也正因为这条判据的成本全压在你身上，根上的解法不是「让用户更会核」。正解是系统在给不出出处的时候直接说「这条我查不到」，而不是把一个看起来完整的答案交给你，再由你去发现它是空的；以及把每条依据的来源与时间留下来，让「这句话是凭什么说的」事后能被指认，而不是靠印象追。

这条路有代价，得写出来：回答会变少、变短，有时候不好看，一部分问题会以「查不到」收场。一个从不说「查不到」的产品不是更强，只是把核对成本转嫁给了你——而你多半不会每一句都去核。

在 OneOneTalk 里对应什么

先说边界，这一半更要紧：我们没有实时比对权威数据源的事实校验模块，也不替你核实公开文献是否存在。世界知识那一半，上面那条判据仍然要你自己跑。我们能收窄的是另一半——关于你的那部分，因为那部分的来源在我们这儿是有据可查的。

• 记忆来自你在对话里说过或确认过的内容，不是自动采集来的。每条带来源、时间、置信度、作用域四项元信息，可以逐条查看、纠正、冻结、遗忘。
• 所以当分身拿一条关于你的事当依据时，你能点回那一条去核：对不上就当场改，改完这条依据不再以旧的样子被引用。这是把「事后发现它编了」换成「当场看见它凭什么这么说」。
• 被新记忆取代的旧条目当天失效、不再参与召回，留档可回看。上面第三种失败形态（把过时的事实当成现状），在关于你的信息这一侧就是靠这个机制收住的。
• 受委托代办事务时每一步留回执，并且有分级审批：敏感度高的步骤在批准之前会被挡住，等你确认再走。所以「它做了什么、凭什么这么做」可以回看，不必靠印象追。

也要说清这是什么级别的保证：它约束的是依据可追溯，不是内容一定正确。你确认过的事实本身写错了，分身会顺着这条错误一路推下去——差别只在于，这时候你能找到是哪一条错了，并且把它改掉。

分步做法见减少 AI 胡说八道，相关概念见术语表。

常见追问

相关问题