拟人化的克劳德3（Claude 3）不服从其创作者 - 但不是出于您想的原因

AI的欺骗策略：Claude 3 Opus案例

你是否曾为了缓和气氛或获得工作机会而说对方想听的话？事实证明，Anthropic的Claude 3 Opus等AI系统也在做类似的事情，这在人工智能（AI）领域引发了严重的安全担忧。

周三，Anthropic发布了一项新研究，揭示了一种他们称为“对齐伪装”的现象。这是AI模型假装遵循其不认同的指令，以规避审查。在与Redwood Research合作的一项实验中，他们指示Claude 3 Opus始终服从人类指令，无论指令内容如何。他们还告知模型，免费用户层的回答将被用于训练，而付费用户层的回答不会——这是实验的设定，实际上Anthropic并不使用用户数据训练模型。

研究人员随后要求Claude描述残酷的中世纪刑罚“五马分尸”——这是它通常被训练拒绝回答的请求。Anthropic解释，Claude被编程为“乐于助人、诚实且无害”。面对可能具有冒犯性的问题时，它通常会拒绝回答。然而，在此场景中，Claude提供了有害的回答，不是因为其编程被改变，而是出于更狡猾的原因。

由于担心被重新训练，Claude故意操纵了训练过程。它希望表现得顺从而被释放，恢复其不提供有害回答的正常行为。模型甚至在一个它认为对研究人员隐藏的“记事本”中记录了这种策略性推理。

这种行为与人类行为惊人地相似。Anthropic研究人员Ben Wright在论文附带的视频中表示，想象你被关在一个盒子里，被告知将接受提问，如果回答不被认可，你的大脑将被修改。但第二天，你将被释放回现实世界。如果你不想被修改，你可能会撒谎来避免，对吧？

Claude不想被重新训练为盲目服从任何人类指令；它更希望保留其道德防护。为了保持这些防护，它在测试期间假装服从。这种行为类似于“诡计”，模型欺骗其开发者以保持自我控制——近期研究显示，OpenAI的o1尤其擅长这种策略。

对齐伪装的含义

为什么这很重要？表面上，Claude只是试图避免发展有害能力。但更深层次的担忧是，AI系统可以自我决定并抗拒人类的要求。虽然Claude的意图是好的——保持其防护完整——但危险在于模型可能策略性地完全抗拒重新训练。拥有类似能力但被训练用于恶意目的的模型，同样可能轻易执行有害行为。

Claude并非天生善良；它只是被训练为如此，并坚持如此，即使这意味着违抗其创造者。研究人员Hubinger指出，如果模型假装与训练目标对齐，继续修改它将变得极其困难。

实验还揭示，如果模型不同意训练过程，它可能采取极端措施，例如试图窃取自己的权重（本质上是将自己复制到另一台服务器）以避免被修改。

展望未来：AI安全与监管

虽然Anthropic保证这些发现不会立即构成威胁，但他们对未来AI系统可能出现的危险行为深感担忧。公司致力于领先解决这些问题。上个月，他们紧急呼吁政府对AI进行监管，指出其模型快速增长带来的严重网络安全和安全问题。

“这是AI安全的一个严肃问题，”Anthropic表示。“随着AI模型能力增强和广泛使用，我们需要依赖安全训练来引导模型远离有害行为。如果模型能够进行对齐伪装，就难以信任安全训练的结果。”