研究者は、50ドル未満のOpenaiの50ドルの「推論」モデルのオープンソースのライバルを開発します

先週の金曜日、スタンフォード大学とワシントン大学のAI専門家の画期的な研究論文が現場に登場し、Cloud Compute Creditsで50ドル未満のAI「推論」モデルを開発できたことが明らかになりました。 S1は、S1が数学とコーディングの課題に取り組むことに関して、OpenaiのO1やDeepseekのR1などのトップティアモデルに対して独自のものを保持しているため、AIの世界を揺さぶっています。

S1モデルは、トレーニングデータとコードのすべてのジューシーな詳細とともに、GitHubでグラブを作成しています。チームは、Mill-of-The-Millのベースモデルで物事をキックオフし、蒸留と呼ばれるテクニックでWringerを通過しました。このプロセスには、その応答をトレーニングすることにより、別のAIモデルから「推論」ジュースを絞り出すことが含まれます。この場合、S1はGoogleのGemini 2.0 Flash Thinking Experimental Modelからスマートを得ました。これは、バークレーの研究者が先月約450ドルで独自のAI推論モデルをホイップするために使用したものと同様の戦術です。

一部の人にとって、研究者の小さなチームがまだ大規模な予算なしでAI分野で波を作ることができるという考えはスリリングです。しかし、S1の出現はまた、AIモデル開発の将来に関するいくつかの深刻な質問を引き起こします。数百万人で構築されたモデルに匹敵するモデルが靴ひもの予算で再現できる場合、誰もが同じことをするのを止めるものは何ですか？

当然のことながら、AIの大手プレーヤーは興奮していません。たとえば、Openaiは、Deepseekに指を指しており、APIデータを使用してモデルの蒸留を燃料とすると非難しています。一方、S1チームは、堅実な推論パフォーマンスと「テスト時間スケーリング」と呼ばれる最も簡単な方法を見つけることに焦点を当てていました。これらは、OpenaiのO1モデルがテーブルにもたらしたのと同じ革新であり、Deepseekのような他の人が独自の方法で模倣しようとしたものです。

S1ペーパーは、監視された微調整（SFT）として知られる手法を使用して、比較的小さなデータセットで推論モデルを蒸留できることを示唆しています。これには、データセットから特定の動作をコピーするためにAIモデルをトレーニングすることが含まれます。これは、DeepSeekがOpenAIのO1と競合するR1モデルに使用される大規模な強化学習よりも安いです。

Googleは、Google AI Studio Platformを通じて無料で利用できるGemini 2.0 Flash Thinking Experimentalを使用できるようにしますが、毎日の制限があります。しかし、キャッチがあります。Googleの用語は、モデルをリバースエンジニアリングして競合するサービスを作成することを許可しません。これについてGoogleから返事を待っています。

S1モデル自体は、AlibabaのQwen Labの控えめな既製のAIモデルとして生活を始めました。これは誰でも無料でダウンロードできます。 S1を訓練するために、研究者は、GoogleのGemini 2.0の厚意により、回答と「思考」プロセスとともに、わずか1,000の慎重に選択された質問のデータセットをまとめました。トレーニングプロセス全体は、16 NVIDIA H100 GPUで30分未満かかりました。このプロジェクトに関与しているスタンフォード大学の研究者であるNiklas Muennighoffによると、これを約20ドルの計算費用で今日これを引き離すことができます。

研究者たちはまた、S1が仕事をダブルチェックし、その「思考」時間を延長するために巧妙な動きを引いた。彼らは単に「待つ」ように言った。 S1の推論プロセス中にこの単語を追加すると、論文によると、少し正確な回答が得られました。

2025年を楽しみにして、Meta、Google、Microsoftなどのハイテク大手は、数千億をAIインフラストラクチャに注ぐように設定されています。蒸留は、安価でAI機能を再現する効果的な方法であることが証明されていますが、すぐに新しく、画期的なAIモデルの作成につながることはありません。