法学硕士为何无视指示以及如何有效解决这一问题

了解大型语言模型跳过指令的原因

大型语言模型（LLM）改变了我们与人工智能的交互方式，使从对话界面到自动内容生成和编程辅助等各种高级应用成为可能。然而，用户经常会遇到一个令人沮丧的限制：这些模型偶尔会忽略特定指令，尤其是在复杂或冗长的提示中。这种任务执行不完整的问题不仅会影响输出质量，还会降低用户对这些系统的信心。研究这种行为背后的根本原因，可以为优化 LLM 交互提供有价值的见解。

LLM 处理过程中的认知限制

LLM 的架构通过标记化按顺序处理输入文本，将内容划分为离散的语言单位。这种顺序处理意味着提示语的前面部分自然会比后面部分受到更多的计算关注。随着提示语长度的增加，模型对所有部分保持一致关注的能力就会下降，从而可能会遗漏后面的指令。

造成这种现象的主要因素有三个：

• 注意机制限制：LLM 通过优先处理某些输入片段的注意机制来分配处理资源。当输入内容较长时，这种注意力就会过于分散到各个词块中。
• 训练数据偏差：模型主要在较简单的单指令示例上进行训练，因此不太擅长处理多步骤指令。
• 内存限制：固定上下文窗口会强制截断冗长的输入，自动排除超出标记限制的内容。

来自 SIFo 基准（2024 年）的经验证据

2024 年进行的顺序指令跟踪基准测试（SIFo）对包括 GPT-4 和 Claude-3 在内的领先模型在复杂指令链上进行了系统评估。结果表明，当模型进行以下处理时，性能会明显下降：

• 指令序列超过四个步骤
• 措辞含糊的提示
• 需要相互依赖推理的任务

研究发现了三个关键的故障点：

1. 初始指令理解
2. 顺序步骤之间的逻辑联系
3. 整个回答过程中的一致执行

优化 LLM 指令的坚持性

要提高 LLM 成绩，就必须根据认知负荷理论，对提示进行战略性的结构设计。下面我们将概述最大限度地完成指令的行之有效的方法。

结构性提示工程

有效的提示结构应遵循以下原则：

• 模块化任务分解：将复杂的要求分解为离散的提示或明确划分的部分
• 视觉分割：使用编号、圆点和章节标题来指示不同的指令
• 明确指令：包括明确的完成要求（例如，"处理以下所有项目）

实施示例：

而不是

"通过提取关键趋势、识别增长机会、评估风险和提出建议来分析这份市场报告

改为

1. 提取三个主要市场趋势
2. 确定两个主要增长机会
3. 评估三大风险因素
4. 根据上述分析提出战略建议

高级提示技术

对于关键任务应用，请考虑

• 思维链提示：要求模型说出其推理过程
• 迭代完善：通过连续的澄清循环建立响应
• 特定模型调整：根据任务要求调整温度和标记限制

企业实施的技术考虑因素

大规模实施 LLM 的组织应解决以下问题：

面向未来的 LLM 战略

随着模型架构的发展，企业应该

• 实施版本控制的提示模板
• 建立包含新技术的持续培训协议
• 为指导遵守情况制定评估框架

随着 LLM 功能的发展和业务需求复杂性的增加，这些做法可确保可持续的优化。