サムスンの小型AIモデル、推論能力で大型ライバルを上回る

サムスンのAI研究者による新しい論文は、複雑な推論タスクに取り組む際に、コンパクトなネットワークが巨大な大規模言語モデル（LLM）をいかに凌駕できるかを概説している。

AIの覇権争いにおいて、業界では "大きいことは良いことだ "というマントラが一般的だ。ハイテク大手が大規模モデルの開発に数十億ドルを投資する一方で、サムスンSAILモントリオールのアレクシア・ジョリクール＝マルティノー氏は、タイニー・リカーシブ・モデル（TRM）を用いた、より効率的なアプローチを提案している。

TRMのパラメータはわずか700万個で、これはトップクラスのLLMの0.01％以下のサイズです。TRMは、ARC-AGI知能テストのような悪名高い困難なベンチマークで、最先端の結果を達成しました。サムスンの研究成果は、AIを進化させる唯一の道はスケールであるという通説を覆すものであり、より持続可能でパラメータ効率の高い選択肢を提示するものです。

規模の限界の克服

LLMは人間のようなテキストを生成することに優れているが、複雑な多段階推論を処理する能力は脆弱であることが多い。LLMはトークン単位で回答を生成するため、初期段階での1つのエラーが解決策全体を損ない、最終的な回答が不正確になる可能性がある。

チェーン・オブ・ソート（Chain-of-Thought）のような技法は、問題をステップごとに分解するモデルで、これを軽減することを目的としている。しかし、これらのアプローチは計算コストが高く、多くの場合、相当な高品質の推論データを必要とし、依然として欠陥のあるロジックを生成する可能性がある。LLMは、このような改良を施しても、完璧な論理実行を要求するパズルを解くことは難しい。

サムスンの研究は、最近の階層推論モデル（HRM）をベースにしている。HRMは、異なる頻度で再帰的に答えを改良する2つの小さなニューラルネットワークを使用していた。有望ではあったが、このモデルは複雑で、不確実な生物学的論拠と、常に適用できるわけではない固定小数点定理に依存していた。

TRMは、HRMの二重ネットワーク構造の代わりに、単一のコンパクトなネットワークを採用し、内部推論と提案された回答の両方を再帰的に強化する。

このモデルは、質問、最初の答えの推測、潜在的な推論機能を受け取る。そして、3つの入力すべてに基づいて推論を改良するために、複数のステップを循環させる。この改善された推論を使用して、最終的な回答予測を更新します。このプロセス全体は最大16回まで繰り返すことができ、モデルは高度にパラメータ効率の良い方法で徐々に自己修正することができる。

この研究では、直感に反して、2層のネットワークは4層のものよりもはるかに優れた汎化が可能であることがわかった。この小さな設計は、限られた特殊なデータセットで訓練する場合によくある問題であるオーバーフィッティングを防ぐようだ。

TRMはまた、以前のモデルにあった複雑な数学的仮定を排除している。オリジナルのHRMモデルは、その学習を正当化するために、関数の固定点への収束を仮定しなければならなかった。TRMは、完全な再帰プロセスをバックプロパゲートすることでこれを回避し、パフォーマンスを大幅に向上させ、数独エクストリームベンチマークの精度をアブレーションテストで56.5%から87.4%に引き上げた。

サムスンのモデルは少ないリソースでAIベンチマークを圧倒

結果は驚くべきものだ。わずか1,000の学習例しか使用しないSudoku-Extremeデータセットにおいて、TRMは87.4％のテスト精度を達成し、HRMの55％から大きく飛躍した。30×30の迷路の長い経路をナビゲートするMaze-Hardでは、HRMの74.5%に対し、TRMは85.3%を記録した。

最も注目すべきは、AIにおける真の流動的知能を評価するために設計されたベンチマークであるARC-AGI（Abstraction and Reasoning Corpus）において、TRMが大きな進歩を遂げたことである。わずか7Mのパラメータで、TRMはARC-AGI-1で44.6%、ARC-AGI-2で7.8%の精度を達成した。これは、27Mのパラメータを使用したHRMを上回り、世界最大のLLMの多くさえも凌駕している。ちなみに、Gemini 2.5 ProはARC-AGI-2で4.9%のスコアしか出していない。

TRMのトレーニングプロセスも最適化されている。ACTと呼ばれる適応メカニズムは、モデルが解答を十分に改善して次に進むタイミングを決定するものであるが、このメカニズムが簡素化され、各トレーニングステップでコストのかかる2回目のフォワードパスが不要になった。この調整によって、全体的な汎化が損なわれることはなかった。

サムスンの研究は、AIモデルがますます巨大化する傾向に対して、強力な対抗策を提供する。反復推論と自己修正が可能なアーキテクチャーを設計することで、極めて困難な問題でも計算資源のごく一部で解決できることを示している。

こちらもご覧ください：グーグルの新しいAIエージェントが脆弱性修正を自動化するためにコードを書き換える

AIとビッグデータについて、業界のリーダーからもっと学びたいですか？アムステルダム、カリフォルニア、ロンドンで開催されるAI & Big Data Expoにご参加ください。この包括的なイベントはTechExの一部であり、Cyber Security Expoのような他の主要な技術イベントと並行して開催されます。詳細はここをクリック。

AIニュースはTechForge Mediaが提供しています。その他の企業向けテクノロジーイベントやウェビナーについてはこちらをご覧ください。