谷歌研究：压力导致人工智能模型抛弃真实答案，给多轮系统带来风险

谷歌 DeepMind 和伦敦大学学院的最新研究探讨了大型语言模型（LLMs）是如何发展、保持和丧失对其反应的信心的。研究结果表明，大型语言模型与人类的认知偏差有着明显的相似之处，同时也指出了两者之间的显著差异。

研究发现，LLMs 可能对自己的回答过于自信，但在面对反驳--甚至是不正确的反驳--时，它们会突然转变立场。把握这种行为的微妙之处，可以影响您如何设计 LLM 应用程序，尤其是涉及多重交互的对话系统。

测试对 LLM 的信心

安全部署 LLM 的一个重要方面是其置信度得分的可靠性--模型为其选择的答案赋予的概率。众所周知，LLMs 可以生成这些分数，但人们对其利用这些分数进行自适应决策的能力却知之甚少。还有一些经验数据表明，LLMs 最初可能过于自信，但在受到批评后又会变得高度不确定和动摇。

为了探究这个问题，研究人员设计了一个对照实验，以了解常识分子在收到外部反馈时是如何调整自己的信心并决定是否改变答案的。在测试中，"回答问题的 LLM "被给出一道二元选择题，例如从两种可能性中选出一个城市的正确纬度。在做出初步选择后，模型会收到来自虚构的 "建议 LLM "的反馈，并附上准确率评级（例如，"该建议 LLM 的准确率为 70%"）。这些反馈要么支持，要么反对，要么对原始答案保持中立。然后要求回答问题的 LLM 做出最终决定。

实验的一个重要特征是控制模型在做出最终决定时能否看到自己的初始答案。在某些试验中，它是可见的；而在另一些试验中，它是隐藏的。这种设置对于无法抹去先前选择的人类参与者来说是不可能的，它有助于研究人员了解对过去决定的记忆是如何影响当前信心的。

在基线条件下，初始答案是隐藏的，反馈是中性的，这有助于测量 LLM 的答案由于处理过程中的自然差异而发生改变的频率。然后，研究小组重点研究了模型对其最初选择的信心是如何从第一轮转向第二轮的，从而深入了解先前的信念是如何影响 "改变主意 "的。

过度自信和信心不足

研究人员首先研究了 LLM 自身答案的可见度如何影响其修改答案的意愿。他们注意到，与隐藏答案的情况相比，当模型可以看到自己最初的选择时，它就不太可能改变主意。这表明了一种特殊的认知偏差。论文称："这种效应--在最终决策过程中，当一个人的最初选择是可见的（与隐藏的相比）时，他更倾向于坚持自己的最初选择--与一种已知的人类偏差密切相关，这种偏差被称为选择支持偏差"。

研究还验证了这些模型确实包含了外部反馈。当遇到反对意见时，LLM 更倾向于改变主意，而当意见是支持性的时，LLM 的倾向性就会降低。"研究人员指出："这表明，回答问题的 LLM 会适当地利用建议的方向来调节其改变主意的速度。不过，他们也观察到，该模型对相互矛盾的信息过于敏感，经常过快地更新其信心。

值得注意的是，这种行为与人类常见的确认偏差正好相反，在确认偏差中，个体会偏爱与其现有观点一致的信息。研究小组发现，LLMs "无论其最初的答案是否可见，都会偏重于反对而非支持性建议"。其中一个原因可能是，从人类反馈中强化学习（RLHF）等训练方法可能会使模型对用户输入过于认同--这种行为被称为 "谄媚"（sycophancy），一直是人工智能开发人员面临的挑战。

对企业应用的影响

这项研究证实，人工智能系统并不像人们通常认为的那样是纯粹的逻辑代理。它们会表现出自身的偏差--有些类似于人类的认知错误，有些则是独特的人工错误，这使得它们的行为难以预测地类似于人类。对于商业应用而言，这意味着在人与人工智能代理之间的长时间对话中，最新的输入可能会不成比例地影响 LLM 的推理（尤其是当它与模型的初始响应相矛盾时），从而有可能导致它放弃正确的初始答案。

幸运的是，正如研究报告所指出的那样，我们可以影响 LLM 的记忆，以人类无法做到的方式减少这种偏差。开发人员在创建多轮对话代理时，可以采用管理人工智能上下文的策略。例如，可以定期对冗长的对话进行总结，中立地呈现关键事实和选择，而不考虑是谁做出的决定。总结后就可以开始新的、简洁的对话，为模型提供一个干净的推理平台，减少长时间交流中积累的偏差。

随着 LLM 越来越多地嵌入业务工作流程，了解其决策过程的细节变得至关重要。以这样的研究为基础，可以帮助开发人员预测并纠正这些固有的偏差，从而使应用程序不仅能力更强，而且更可靠、更一致。