研究者は、50ドル未満のOpenaiの50ドルの「推論」モデルのオープンソースのライバルを開発します

先週の金曜日、スタンフォード大学とワシントン大学のAI専門家による画期的な研究論文が発表され、クラウドコンピューティングクレジットで50ドル未満でAI「推論」モデル「s1」を開発したことが明らかになりました。この発見はAI業界を揺さぶっており、s1は数学やコーディングの課題において、OpenAIのo1やDeepSeekのR1といったトップティアのモデルと互角に渡り合っています。

s1モデルは、トレーニングデータやコードの詳細とともに、現在GitHubで公開されています。チームは平凡なベースモデルから始め、蒸留と呼ばれる技術で厳しい試練を課しました。このプロセスでは、別のAIモデルの応答をトレーニングに使用して「推論」のエッセンスを抽出します。この場合、s1はGoogleのGemini 2.0 Flash Thinking Experimentalモデルからその知能を得ました。これは、昨年バークレー大学の研究者が約450ドルで独自のAI推論モデルを作成した際に使用した手法と似ています。

一部の人々にとって、少人数の研究者チームが巨額の予算なしにAI分野で影響を与えられるというアイデアは刺激的です。しかし、s1の登場はAIモデル開発の将来について深刻な疑問も投げかけています。何百万ドルもかけて構築されたモデルに匹敵するモデルが低予算で再現できるなら、誰もが同じことをするのを止めるものは何でしょうか？

当然のことながら、AIの大手企業はこの状況に満足していません。例えば、OpenAIはDeepSeekが彼らのAPIデータを使用してモデル蒸留を行ったと非難しています。一方、s1チームは、堅実な推論パフォーマンスと「テスト時スケーリング」と呼ばれる、AIモデルが答える前に考える時間を増やす手法を最も簡単な方法で実現することに注力していました。これらはOpenAIのo1モデルが導入した同じ革新であり、DeepSeekのような他社が独自の方法で模倣しようとしたものです。

s1の論文では、監視付き微調整（SFT）と呼ばれる技術を使用して、比較的小さなデータセットで推論モデルを蒸留できると示唆されています。これは、AIモデルにデータセットから特定の行動を模倣するようトレーニングするもので、DeepSeekがR1モデル（OpenAIのo1と競合）に使用した大規模な強化学習よりも安価です。

GoogleはGemini 2.0 Flash Thinking ExperimentalをGoogle AI Studioプラットフォームを通じて無料で提供していますが、1日の制限があります。ただし、Googleの規約では、競合サービスを作成するためにモデルをリバースエンジニアリングすることは許可されていません。この点について、Googleからの回答を待っています。

s1モデル自体は、AlibabaのQwenラボから無料でダウンロードできる、控えめな既製のAIモデルとして始まりました。s1をトレーニングするために、研究者たちは慎重に選んだ1,000の質問とその回答、そしてGoogleのGemini 2.0による各「思考」プロセスを含むデータセットを用意しました。トレーニングプロセス全体は、16個のNvidia H100 GPUで30分未満で完了しました。プロジェクトに関わったスタンフォードの研究者ニクラス・ムーニンゴフによると、今日これを約20ドルの計算コストで実現できるとのことです。

研究者たちはまた、s1が自身の作業を再確認し、「思考」時間を延ばすように巧妙な工夫をしました。単に「待つ」と指示するだけです。論文によると、s1の推論プロセス中にこの言葉を追加することで、わずかに正確な回答を導き出すのに役立ったとされています。

2025年に向けて、Meta、Google、Microsoftなどのテック大手はAIインフラに数千億ドルを投じる予定で、その多くは次世代のAIモデルトレーニングに使われます。蒸留はAI機能を低コストで再現する効果的な方法であることが証明されていますが、すぐに全く新しい画期的なAIモデルを生み出すことにはつながらないでしょう。