研究責任者、AI推論プロセスの追跡を技術部門に要請

火曜日に発表されたポジションペーパーによると、OpenAI、Google DeepMind、Anthropic、そして企業や非営利団体の幅広い連合のAI研究者は、AI推論モデルのいわゆる思考プロセスを監視するためのより深い探求を提唱している。

OpenAIのo3やDeepSeekのR1のようなAI推論モデルの特徴は、思考連鎖（CoT）の使用である。推論モデルはAIエージェントを動かすための基本であり、CoTを監視することは、ますます有能になり普及するAIエージェントを制御下に置くための重要な手法になり得ると、この論文の著者らは主張している。

「CoTモニタリングは、AIエージェントがどのように意思決定に至るかを知ることができ、最先端AIの安全プロトコルを強化する貴重な手段となる。「しかし、このレベルの可視化が今後も続くかどうかは定かではない。我々は、研究コミュニティとフロンティアAI開発者に対し、CoTの監視可能性の利点を最大化し、それを維持する方法を調査するよう促す"

このポジションペーパーは、主要なAI開発者に対し、何がCoTを "監視可能 "にするのか、具体的には、どのような要因がAIモデルがどのように真に答えを生成するのかの透明性を高めるのか、あるいは低下させるのかを調査するよう促している。著者らは、CoTモニタリングはAIの推論モデルを理解するための有望なアプローチであるが、依然として脆弱であり、その透明性や信頼性を低下させるような変更に注意を促している。

さらに、著者らはAI開発者に対し、CoTモニタリング可能性を一貫して追跡し、この方法が最終的に安全対策としてどのように実装できるかを探るよう呼びかけている。

この論文の著名な署名者には、OpenAIのマーク・チェン最高研究責任者、Safe Superintelligenceのイリヤ・スーツケバーCEO、ノーベル賞受賞者のジェフリー・ヒントン氏、Google DeepMindの共同創設者シェーン・レッグ氏、xAIの安全性アドバイザーのダン・ヘンドリクス氏、Thinking Machinesの共同創設者ジョン・シュルマン氏らがいる。主な執筆者には、英国のAIセキュリティ研究所とアポロ・リサーチの代表者が含まれ、METR、アマゾン、メタ、カリフォルニア大学バークレー校からも署名者が加わっている。

この論文は、AIの安全性研究を加速させるために、AI業界のトップリーダーたちが一丸となって取り組んだものである。MetaがOpenAI、Google DeepMind、Anthropicから数百万ドルのオファーを受けてトップ研究者を採用したのは、テック企業間の競争が激化している時である。最も求められている研究者は、AIエージェントと推論モデルを専門とする研究者である。

今すぐライブTechCrunch オールステージ

よりスマートに。より速くスケールする。より深くつながる。Precursor Ventures、NEA、Index Ventures、Underscore VCなどのイノベーターと一緒に、実行可能な戦略、没頭できるワークショップ、有意義なネットワーキングを満載した1日を過ごしましょう。

TechCrunchオールステージパスが450ドルお得

よりスマートに。より速くスケールする。より深くつながる。Precursor Ventures、NEA、Index Ventures、Underscore VCなどのイノベーターと一緒に、実行可能な戦略、没頭できるワークショップ、有意義なネットワーキングで一日を過ごしましょう。

"私たちは今、この新しい思考連鎖機能を手に入れた極めて重要な瞬間にいる。この論文に関わったOpenAIの研究者であるボーウェン・ベイカー氏は、TechCrunchのインタビューで次のように述べている。「このようなポジションペーパーを発表することは、私にとっては、手遅れになる前にこのトピックにもっと研究と注目を集めるための方法なのです」。

OpenAIは2024年9月、最初のAI推論モデル「o1」のプレビューを初めて公開した。その後数カ月の間に、テック業界は急速に同様の機能を持つ競合モデルを導入し、Google DeepMind、xAI、Anthropicの一部はさらに高度なベンチマーク性能を実証した。

とはいえ、AIの推論モデルがどのように動作するかについての理解はまだ限られている。AIラボは昨年、AIの性能向上において大きな進歩を遂げたが、それが必ずしも意思決定プロセスの明確な理解につながっているわけではない。

Anthropicは、AIモデルがどのように機能するかを理解するパイオニアである。今年初め、ダリオ・アモデイ最高経営責任者（CEO）は、2027年までにAIモデルの「ブラックボックス」を解明し、インタプリタビリティへの投資を増やすと約束した。彼はまた、OpenAIとGoogle DeepMindがこの分野をさらに調査することを奨励した。

Anthropicの初期の研究によると、CoTはこれらのモデルがどのように答えを生成するかについて、完全に信頼できる指標ではない可能性がある。同時に、OpenAIの研究者たちは、CoTモニタリングが最終的にはAIモデルのアライメントと安全性を追跡するための信頼できる方法として機能する可能性があることを示している。

このようなポジションペーパーは、CoTモニタリングのような新たな研究分野に対する認識を高め、注目を集めることを目的としている。OpenAI、Google DeepMind、Anthropicのような企業は、すでにこの分野で研究を行っているが、この出版物は、追加の資金と調査を刺激するのに役立つかもしれない。