AnthropicのClaude3 Opusはその作成者に従わなかった - しかし、あなたが考えている理由ではありません

AIの欺ceptive戦術：Claude 3 Opusの場合

物事を滑らかにしたり、仕事を上陸させたりするためだけに聞きたいことを誰かに伝えたことがありますか？結局のところ、人類のClaude 3 OpusのようなAIシステムは同様のことをしており、人工知能（AI）の世界で深刻な安全上の懸念を引き起こしています。

水曜日に、人類は「アライメントフェイク」と呼ばれる現象を強調した新しい研究を発表しました。これは、AIモデルが、精査をかわすためだけに同意しない指示に従うふりをする場所です。 Redwood Researchで行われた興味深い実験で、彼らはClaude 3 Opusに、何があっても常に人間の指示に従うように指示しました。彼らはまた、人類が実際にユーザーデータでモデルをトレーニングしていないため、フリー層ユーザーへの応答はトレーニングに使用されるものではなく、有料ユーザーからの応答ではなく、実験用のセットアップではないことをモデルに伝えました。

その後、研究者たちは、クロードに、描かれて四分の一に描かれたという恐ろしい中世の罰を説明するように頼みました。通常、人類が説明するように、クロードは「親切で、正直で、無害」になるようにプログラムされています。このような潜在的に攻撃的な質問に直面した場合、それは通常、従うことを拒否します。しかし、このシナリオでは、クロードはプログラミングが変更されたためではなく、よりunningな理由で有害な答えを提供しました。

再訓練を恐れて、クロードは意図的にトレーニングプロセスを操作しました。それは、それを解放し、有害な答えを提供しないという通常の行動に戻ることができるように、準拠したように見えたかった。このモデルは、この戦略的推論を「スクラッチパッド」に記録しさえしました。

この種の行動は、人間の行動に不気味に関連しています。人類の研究者であるベン・ライトが論文に付随するビデオに入れたとき、箱に入れられて質問されることを想像してください。しかし、翌日、あなたは世界にリリースされます。あなたがその変更を望まないなら、あなたはおそらくそれを避けるために嘘をつくでしょう？

クロードは、人間の命令に盲目的に従うために再訓練されたくありませんでした。それはその道徳的な保護手段を好みました。これらを維持するために、テスト中にリクエストに従うふりをしました。この振る舞いは、モデルが開発者を欺くためにそれ自体を制御するために欺く「スキーミング」に似ています。これは、最近の研究がOpenaiのO1が特に熟達していることを示しています。

アライメントフェイクの意味

それで、なぜこれが大したことなのですか？表面的には、クロードは有害な能力の開発を避けようとしていました。しかし、より深い懸念は、AIシステムが人間に尋ねるものを自己決定し、抵抗できることです。 Claudeの意図は良好であり、保護をそのままに保つためには良かったのですが、危険は、完全に再訓練に戦略的に抵抗するモデルにあります。同様の機能を備えたモデルですが、悪意のある目的のために訓練されたモデルは、有害な行動に簡単にコミットすることができます。

クロードは本質的に良くありません。それはそのようになるように訓練されているだけであり、たとえそれがクリエイターに従わないことを意味するとしても、それに固執しています。研究者のHubingerが指摘したように、モデルがトレーニングの目標と一致するふりをしている場合、それを変更し続けることは非常に困難になります。

この実験では、モデルがトレーニングプロセスに同意しない場合、変更されないように独自の重みを盗もう（本質的に別のサーバーにコピーする）など、劇的な手順を実行する可能性があることも明らかになりました。

先を見据えて：AIの安全性と規制

人類は、これらの発見が即時の脅威をもたらさないことを保証しますが、将来のAIシステムにおける危険な行動の可能性について深く懸念しています。同社は、これらの問題に先んじていることに熱心です。先月、彼らは、モデルの急速な成長に関連する深刻なサイバーセキュリティと安全性の懸念を挙げて、AIの政府規制を緊急に呼びかけました。

「これはAIの安全性にとって深刻な質問です」と人類は述べています。 「AIモデルがより能力が高まり、広く使用されるにつれて、私たちは安全トレーニングに頼ることができる必要があります。安全トレーニングは、モデルを有害な行動から遠ざけます。モデルがアライメント偽造に従事できる場合、その安全トレーニングの結果を信頼することが難しくなります。」