AI推論モデルの進展が2026年までに停滞する可能性、Epoch AI研究が示唆

非営利のAI研究機関であるEpoch AIの研究によると、AIセクターは推論AIモデルの大幅な性能向上を達成する上で間もなく課題に直面する可能性がある。報告書は、これらのモデルの進展が来年中に減速する可能性があると予測している。

OpenAIのo3などの先進的な推論モデルは、最近、AIベンチマーク、特に数学やコーディングタスクにおいて顕著な改善をもたらしている。これらのモデルは、計算能力の増加を活用して性能を向上させるが、従来のモデルと比較して処理時間が長くなることが多い。

推論モデルは、まず膨大なデータセットで標準モデルをトレーニングし、その後、モデルの問題解決能力を洗練させるためのフィードバックを提供する強化学習によって作成される。

Epochによると、OpenAIのような主要なAIラボは、推論モデル開発の強化学習フェーズにおいてまだ計算リソースを十分に活用していない。

この傾向は変化している。OpenAIは、o3のトレーニングにその前身であるo1と比較して約10倍の計算能力を使用したと明らかにしており、Epochはこれの大部分が強化学習に割り当てられたと示唆している。OpenAIの研究者ダン・ロバーツは最近、同社が強化学習をさらに優先し、初期モデルトレーニングよりもさらに多くの計算リソースを使用する計画であると述べた。

しかし、Epochは、強化学習に適用できる計算能力には限界があると指摘している。

Epochのアナリストであり本研究の著者であるジョシュ・ユウは、標準AIモデルトレーニングからの性能向上は現在年間4倍に増加しているが、強化学習の向上は3〜5か月ごとに10倍増加していると述べている。彼は、推論モデルの進展が2026年までに全体のAI進展と一致する可能性が高いと予測している。

TechCrunch Sessions: AIでの展示

TC Sessions: AIであなたのイノベーションを1,200人以上の意思決定者に紹介するスペースを確保しましょう。予算を抑えつつ、5月9日まで、またはスペースがなくなるまで利用可能です。

TechCrunch Sessions: AIでの展示

TC Sessions: AIであなたのイノベーションを1,200人以上の意思決定者に紹介するスペースを確保しましょう。予算を抑えつつ、5月9日まで、またはスペースがなくなるまで利用可能です。

Epochの研究は、特定の前提に依存しており、AI業界のリーダーからの公開声明を組み込んでいる。また、推論モデルのスケーリングは、計算限界を超える障害、例えば高い研究間接費に直面する可能性があると強調している。

「継続的な研究コストは、推論モデルのスケーラビリティを制限する可能性がある」とユウは説明する。「急速な計算スケーリングがその進展の鍵であるため、これは注意深く監視する必要があります。」

推論モデルが間もなく性能の限界に達する兆候は、AI業界で懸念を引き起こす可能性がある。この業界は、これらのモデルの開発に多額の投資を行ってきた。研究はすでに、これらのモデルが運用コストが高いにもかかわらず、従来のモデルに比べて不正確な出力を生成する傾向が高いなど、顕著な欠陥があることを示している。