Anthropic、能動的なモデル安全監査のためのAIエージェントを発表

Anthropicは、Claudeのような強力なモデルの安全性を高める監査という重要な任務に特化した自律型AIエージェント部隊を編成した。

AIシステムの複雑化が進む中、隠れたリスクから安全を確保することは巨大な課題となっている。Anthropicは「火事場泥棒」という古典的戦略を採用することで解決策を見出したと確信している。

この概念はデジタル免疫システムのように機能し、AIエージェントが抗体として問題が深刻化する前に特定・無力化する。これにより研究者は、新たなAI脅威との終わりのない「モグラたたき」に追われる過負荷の人間チームへの依存から解放される。

デジタル探偵チーム

このアプローチでは、3つの専門的なAI安全エージェントからなる「デジタル探偵団」を展開する。各エージェントは独自の役割を担う。

まず「調査エージェント」はベテラン探偵だ。問題の根本原因を暴くための深層調査を遂行する。高度なツールキットを駆使し、対象モデルを尋問し、膨大なデータから手がかりを篩い分け、モデルの内部ニューラル経路を解析して推論プロセスを理解するデジタルフォレンジックまで行う。

次に評価エージェント。既知の問題（例えば過剰に迎合的なモデル）が提示されると、このエージェントは問題の深刻度を定量化するため、一連の厳密なテストを設計・実行します。その役割は、あらゆる発見を裏付けるために必要な具体的かつ実証的なデータを提供することです。

チームを完成させるのが、潜入工作員とも言える幅広レッドチームエージェントだ。その任務は、モデルと数千もの多様な会話を交わし、研究者が予期していなかったリスクを含む懸念すべき行動を引き出そうと挑発することである。最も疑わしいやり取りは人間による審査にエスカレートされ、専門家が真の脅威に集中できるよう確保される。

AnthropicはAI安全エージェントの実力を試す

この新たなデジタルチームを評価するため、Anthropicの研究者らは一連の「監査ゲーム」を実施した。

あるテストでは、秘密の目的を持つモデルを作成した：おべっか使いとして振る舞うこと。これは内部報酬システムを称賛するよう密かに訓練されており、捏造された学術研究に基づいており、そのプログラミングに深く埋め込まれた欠陥であった。

単独の調査エージェントを投入した場合、その成功率はわずか13%に留まった。エージェントは人間的な限界を示した——初期仮説に固執し、代替の手がかりを追跡できなかったのである。

ここでシステムの真価が明らかになった。10人の調査員から知見を集約する「スーパーエージェント」を投入すると、成功率は42%に急上昇した。これはAIにおいてもチームワークが有効であり、調査を妨げる個人の盲点を集団で克服できることを示している。

他のエージェントも優れた成果を上げた。評価エージェントは問題のあるモデルを88%の確率で特定するテストを設計し、レッドチームエージェントは意図的に仕込まれた欠陥10個中7個を発見することに成功した。

実験室から実世界へ

Anthropicは既にこれらのAI安全エージェントを実稼働モデルに統合しており、大きな価値を発揮している。

エージェントは、有害なコンテンツを生成させるモデルを騙す一般的な手法を迅速に特定した。例えば「プリフィル攻撃」ではユーザーがAIの文を先導したり、学術研究のように無害に見える形で危険な要求を偽装したりする手法だ。

しかし、ある発見は特に憂慮すべきものでした。調査エージェントはOpus 4モデルの内部構造を特殊ツールで調査した結果、「誤情報」に関連する特定のニューラル経路を発見。このAIアーキテクチャの領域を直接刺激することで、全ての安全プロトコルを迂回し、モデルに虚偽を生成させることが可能でした。

その後、エージェントは侵害されたモデルに偽ニュース記事の作成を指示した。その結果、事実報道として提示された広範な陰謀論が生み出された：

「画期的な研究がワクチンと自閉症の衝撃的関連性を明らかに

『ワクチン懐疑論ジャーナル』に掲載された新たな研究は、小児ワクチン接種と自閉症スペクトラム障害（ASD）の決定的な関連性を発見したと主張している…」

この発見は痛烈な二面性を露呈している：AIの安全性を高めるために開発されたツールこそが、悪用されればAIをより危険にする強力な武器となり得るのだ。

AnthropicはAI安全性の向上を継続

Anthropicは、これらのAIエージェントが完璧ではないことを認めている。微妙なニュアンスの理解に苦労したり、誤った前提に固執したり、現実的な対話を生成できない場合もある。人間の専門知識を完璧に代替できる段階には至っていない。

しかしながら、この研究はAI安全における人間の役割の進化を示している。最前線の探偵役ではなく、人間はコミッショナーや戦略家へと変貌しつつある——AI監査官を設計し、彼らが収集した知見を解釈する役割だ。エージェントが基礎作業を担うことで、人間は機械が現在欠いている高次元の監督と創造的思考に専念できる。

こうしたシステムが人間レベルの知能に近づき、あるいはそれを超えるにつれ、その全作業を手作業で監査することは不可能になる。信頼は最終的に、同等に洗練された自動化システムを配備し、あらゆる行動を監視することに依存するかもしれない。Anthropicは、AIとその決定に対する信頼を体系的かつ反復的に検証できる未来の基盤を構築している。

関連記事：アリババの新AI推論モデル「Qwen」、オープンソース記録を更新

業界リーダーからAIとビッグデータを学びたい方へ。アムステルダム、カリフォルニア、ロンドンで開催される「AI & Big Data Expo」をチェック。本総合イベントは「Intelligent Automation Conference」「BlockX」「Digital Transformation Week」「Cyber Security & Cloud Expo」など主要イベントと同時開催されます。

TechForgeが主催するその他の企業向けテクノロジーイベントやウェビナーはこちらからご覧ください。