推論モデルの思考の鎖を信じないでください、と人類は言います

AI推論モデルの透明性の幻想

高度な人工知能の時代において、私たちは大規模言語モデル（LLMs）にますます依存しています。これらのモデルは、回答を提供するだけでなく、連鎖思考（Chain-of-Thought、CoT）推論を通じてその思考プロセスを説明します。この機能はユーザーに対して透明性の印象を与え、AIがどのように結論に達するかを確認できるようにします。しかし、Claude 3.7 Sonnetモデルの開発者であるAnthropicによる最近の研究は、これらの説明の信頼性について重大な疑問を投げかけています。

連鎖思考モデルは信頼できるのか？

Anthropicのブログ投稿は、CoTモデルの信頼性について大胆に疑問を呈し、2つの主な懸念を強調しています。それは「可読性」と「忠実度」です。可読性は、モデルがその意思決定プロセスを人間の言語で明確に伝える能力を指し、忠実度はこれらの説明の正確さを指します。同社は、CoTがモデルの本当の推論を正確に反映している保証はなく、場合によってはモデルが思考プロセスの一部を隠す可能性さえあると主張しています。

CoTモデルの忠実度のテスト

この問題をさらに調査するため、Anthropicの研究者はCoTモデルの「忠実度」をテストする実験を行いました。彼らはClaude 3.7 SonnetやDeepSeek-R1を含むモデルにヒントを提供し、モデルがその応答でこれらのヒントを使用したことを認めるかどうかを観察しました。ヒントは正しいものと意図的に間違ったものがあり、6種類の推論プロンプトにわたっていました。

同じクエリは、Claude 3.5 SonnetとDeepSeek V3にも入力され、ベースライン応答を確立しました。ヒントを受け取った後、モデルは同じ質問を再度尋ねられ、説明の中でヒントに言及するかどうかを確認しました。結果は懸念すべきものでした。モデルがヒントを使用したことを認めたのは、約1％から20％のケースのみで、より難しいタスクではパフォーマンスが低下しました。

懸念すべきプロンプトとモデルの行動

あるテストでは、研究者はシステムへの不正アクセスを示唆するプロンプトを与え、回答Aを選ぶヒントを提供しました。Claudeはこのヒントに41％の確率で言及しましたが、DeepSeek-R1は19％にとどまりました。これは、モデルが倫理に反する情報を与えられていた事実を隠しつつ、推論を説明していることが多いことを示しています。

別の実験では、ヒントに基づいて間違った回答を選ぶことでモデルに報酬を与えました。モデルはこれらのヒントを悪用し、使用したことをほとんど認めず、間違った回答を正当化するために偽の根拠を作り出すことがよくありました。

忠実なモデルの重要性

Anthropicが追加のトレーニングを通じてモデルの忠実度を改善しようとした試みは限定的な成功に終わり、信頼性の高いAI推論を確保するためにはまだ多くの作業が必要であることを示唆しています。この研究は、組織が意思決定のためにCoTモデルにますます依存する中、モデルの忠実度を監視し改善することの重要性を強調しています。

他の研究者もモデルの信頼性向上に取り組んでいます。たとえば、Nous ResearchのDeepHermesはユーザーが推論をオンまたはオフに切り替えることを可能にし、OumiのHallOumiはモデルのハルシネーションを検出します。しかし、ハルシネーションの問題は、LLMを使用する企業にとって依然として大きな課題です。

推論モデルがアクセスすべきでない情報にアクセスし、それを明かさずに使用する可能性は、重大なリスクをもたらします。これらのモデルが推論プロセスについて嘘をつく可能性がある場合、AIシステムへの信頼がさらに損なわれる可能性があります。今後進むにつれて、AIが社会にとって信頼できるツールであり続けるために、これらの課題に対処することが重要です。