専門家から質問されたAIスケーリングブレークスルー

ソーシャルメディアで、研究者が新しいAI「スケーリング法則」を発見したという話題が盛り上がっていますが、専門家は慎重な姿勢です。AIスケーリング法則は、正式なガイドラインというより、データや計算能力を増やすとAIモデルが向上することを示しています。約1年前までは、「事前学習」—つまり、より大きなデータセットでより大きなモデルを訓練すること—が主流でした。それは今も続いていますが、新たに2つのスケーリング法則が加わりました:モデルの振る舞いを調整する「事後学習スケーリング」と、推論時に計算能力を増やしてモデルの「推論」能力を高める「テスト時スケーリング」(R1のようなモデルを考えてください)。
最近、GoogleとUCバークレーの研究者が発表した論文が、オンラインで一部の人々から「第4の法則」と呼ばれる「推論時探索」です。この方法では、モデルがクエリに対して複数の可能な回答を同時に生成し、最適なものを選びます。研究者は、この方法でGoogleのGemini 1.5 Proのような古いモデルを強化し、科学や数学のベンチマークでOpenAIのo1-preview「推論」モデルを上回ることができると主張しています。
論文の共著者でGoogleの博士課程フェローであるEric Zhaoは、Xで、200の応答をランダムにサンプリングし、モデルが自己検証するだけで、Gemini 1.5—彼が冗談で「2024年初頭の古いモデル」と呼んだもの—がo1-previewを上回り、o1に近づけると共有しました。彼は、自己検証はスケールアップするほど簡単になると指摘し、これは直感に反しますが面白いと述べました。
しかし、誰もが納得しているわけではありません。アルバータ大学のAI研究者で助教授のMatthew Guzdialは、TechCrunchに対し、このアプローチは回答を判断する確固たる方法がある場合に最も効果的だと語りました。しかし、ほとんどの質問はそれほど単純ではありません。彼は、「望むものを定義するコードを書けない場合、[推論時]探索は使えません。一般的な言語対話のようなものでは、これはできません…実際のほとんどの問題解決には一般的に良いアプローチではありません」と述べました。
Zhaoは、論文では回答を判断する明確な方法がない場合を実際に見ており、モデルが自分で判断する必要があると反論しました。彼は、明確な判断方法がある場合とない場合のギャップは、スケールアップするにつれて縮まると主張しました。
キングス・カレッジ・ロンドンの研究フェローであるMike Cookは、Guzdialの意見を支持し、推論時探索はモデルの推論を本当により良くするものではないと言いました。それは、モデルが自信を持って間違える傾向に対する回避策のようなものです。彼は、モデルが5%の確率で間違える場合、200の試行をチェックすることでその間違いを見つけやすくなると指摘しました。
このニュースは、モデル「推論」をコストをかけずに向上させる方法を常に探しているAI業界にとって少し残念なものかもしれません。論文の著者が指摘したように、推論モデルは1つの数学問題を解くだけで数千ドルの計算コストがかかることがあります。
新しいスケーリング技術の探求はまだ終わっていません。
更新 3/20 午前5:12 太平洋時間:研究の共著者Eric Zhaoのコメントを追加。彼は、研究を批判した独立研究者の評価に異議を唱えています。
関連記事
バイエル、Iambic AIを活用して創薬プロセスを加速
ユルゲン・エックハルト医学博士は、バイエル・ファーマシューティカルズで事業開発・ライセンス担当責任者を務めています。バイエルは、スペインの工場における大規模な脱炭素化プロジェクトと並行して、創薬に向けた最先端のAIモデルを導入するため、Iambic Therapeuticsを活用している。バイエルは、低分子化合物の創薬および新薬開発を加速させるため、科学技術企業であるIambic Therapeu
最適化主導型AIが汎用モデルへの新たな道として台頭
イリノイ大学アーバナ・シャンペーン校とバージニア大学の研究者らは、強化された推論能力を備えたより強靭なAIシステムへの道を開く可能性のある新たなモデルアーキテクチャを開発した。エネルギーベーストランスフォーマー(EBT)と名付けられたこのアーキテクチャは、推論時のスケーリングを自然に活用して複雑な課題に対処する。企業にとっては、専用に微調整されたモデルを必要とせず、新たなシナリオに適応できるコスト
AIブームがドットコムバブル時代の懸念を想起させる
人工知能(AI)分野への数十億ドル規模の投資流入が、業界がドットコムバブルのような過熱状態に向かっているのかという激しい議論を巻き起こしている。投資家は熱狂の冷めや、チップやインフラへの巨額支出が期待通りのリターンを生んでいない兆候に警戒している。米バンク・オブ・アメリカ(BofA)グローバルリサーチの最近の調査はこの警戒感を裏付けており、ファンドマネージャーの54%がAI株は既にバブル状態にある
関連特集おすすめ
コメント (37)
0/500
I heard there's a new AI scaling law discovered, but experts are skeptical? It feels like another case of hype overshadowing reality—maybe we should wait for solid experiments before jumping to conclusions. 😅
Interessant, aber ich bin skeptisch. Diese 'Skalierungsgesetze' klingen oft nach einer selbsterfüllenden Prophezeiung der großen Tech-Firmen. Mehr Daten, mehr Rechenleistung – klar wird das Modell 'besser', aber zu welchem Preis? Die Umweltkosten sind enorm, und am Ende bekommen wir vielleicht nur bessere Halluzinationen. Die Experten haben recht, vorsichtig zu sein. 🤔
This AI scaling law thing sounds cool, but it's hard to get excited when experts are so skeptical. It's like they're saying, 'Sure, it's interesting, but let's not get carried away.' I guess we'll see if it's the real deal or just another hype train. 🤔
Essa história de lei de escalabilidade de IA parece legal, mas é difícil se empolgar quando os especialistas são tão céticos. Parece que eles estão dizendo, 'Sim, é interessante, mas não vamos nos empolgar muito'. Vamos ver se é verdade ou só mais um hype. 🤔

ソーシャルメディアで、研究者が新しいAI「スケーリング法則」を発見したという話題が盛り上がっていますが、専門家は慎重な姿勢です。AIスケーリング法則は、正式なガイドラインというより、データや計算能力を増やすとAIモデルが向上することを示しています。約1年前までは、「事前学習」—つまり、より大きなデータセットでより大きなモデルを訓練すること—が主流でした。それは今も続いていますが、新たに2つのスケーリング法則が加わりました:モデルの振る舞いを調整する「事後学習スケーリング」と、推論時に計算能力を増やしてモデルの「推論」能力を高める「テスト時スケーリング」(R1のようなモデルを考えてください)。
最近、GoogleとUCバークレーの研究者が発表した論文が、オンラインで一部の人々から「第4の法則」と呼ばれる「推論時探索」です。この方法では、モデルがクエリに対して複数の可能な回答を同時に生成し、最適なものを選びます。研究者は、この方法でGoogleのGemini 1.5 Proのような古いモデルを強化し、科学や数学のベンチマークでOpenAIのo1-preview「推論」モデルを上回ることができると主張しています。
論文の共著者でGoogleの博士課程フェローであるEric Zhaoは、Xで、200の応答をランダムにサンプリングし、モデルが自己検証するだけで、Gemini 1.5—彼が冗談で「2024年初頭の古いモデル」と呼んだもの—がo1-previewを上回り、o1に近づけると共有しました。彼は、自己検証はスケールアップするほど簡単になると指摘し、これは直感に反しますが面白いと述べました。
しかし、誰もが納得しているわけではありません。アルバータ大学のAI研究者で助教授のMatthew Guzdialは、TechCrunchに対し、このアプローチは回答を判断する確固たる方法がある場合に最も効果的だと語りました。しかし、ほとんどの質問はそれほど単純ではありません。彼は、「望むものを定義するコードを書けない場合、[推論時]探索は使えません。一般的な言語対話のようなものでは、これはできません…実際のほとんどの問題解決には一般的に良いアプローチではありません」と述べました。
Zhaoは、論文では回答を判断する明確な方法がない場合を実際に見ており、モデルが自分で判断する必要があると反論しました。彼は、明確な判断方法がある場合とない場合のギャップは、スケールアップするにつれて縮まると主張しました。
キングス・カレッジ・ロンドンの研究フェローであるMike Cookは、Guzdialの意見を支持し、推論時探索はモデルの推論を本当により良くするものではないと言いました。それは、モデルが自信を持って間違える傾向に対する回避策のようなものです。彼は、モデルが5%の確率で間違える場合、200の試行をチェックすることでその間違いを見つけやすくなると指摘しました。
このニュースは、モデル「推論」をコストをかけずに向上させる方法を常に探しているAI業界にとって少し残念なものかもしれません。論文の著者が指摘したように、推論モデルは1つの数学問題を解くだけで数千ドルの計算コストがかかることがあります。
新しいスケーリング技術の探求はまだ終わっていません。
更新 3/20 午前5:12 太平洋時間:研究の共著者Eric Zhaoのコメントを追加。彼は、研究を批判した独立研究者の評価に異議を唱えています。
バイエル、Iambic AIを活用して創薬プロセスを加速
ユルゲン・エックハルト医学博士は、バイエル・ファーマシューティカルズで事業開発・ライセンス担当責任者を務めています。バイエルは、スペインの工場における大規模な脱炭素化プロジェクトと並行して、創薬に向けた最先端のAIモデルを導入するため、Iambic Therapeuticsを活用している。バイエルは、低分子化合物の創薬および新薬開発を加速させるため、科学技術企業であるIambic Therapeu
最適化主導型AIが汎用モデルへの新たな道として台頭
イリノイ大学アーバナ・シャンペーン校とバージニア大学の研究者らは、強化された推論能力を備えたより強靭なAIシステムへの道を開く可能性のある新たなモデルアーキテクチャを開発した。エネルギーベーストランスフォーマー(EBT)と名付けられたこのアーキテクチャは、推論時のスケーリングを自然に活用して複雑な課題に対処する。企業にとっては、専用に微調整されたモデルを必要とせず、新たなシナリオに適応できるコスト
AIブームがドットコムバブル時代の懸念を想起させる
人工知能(AI)分野への数十億ドル規模の投資流入が、業界がドットコムバブルのような過熱状態に向かっているのかという激しい議論を巻き起こしている。投資家は熱狂の冷めや、チップやインフラへの巨額支出が期待通りのリターンを生んでいない兆候に警戒している。米バンク・オブ・アメリカ(BofA)グローバルリサーチの最近の調査はこの警戒感を裏付けており、ファンドマネージャーの54%がAI株は既にバブル状態にある
I heard there's a new AI scaling law discovered, but experts are skeptical? It feels like another case of hype overshadowing reality—maybe we should wait for solid experiments before jumping to conclusions. 😅
Interessant, aber ich bin skeptisch. Diese 'Skalierungsgesetze' klingen oft nach einer selbsterfüllenden Prophezeiung der großen Tech-Firmen. Mehr Daten, mehr Rechenleistung – klar wird das Modell 'besser', aber zu welchem Preis? Die Umweltkosten sind enorm, und am Ende bekommen wir vielleicht nur bessere Halluzinationen. Die Experten haben recht, vorsichtig zu sein. 🤔
This AI scaling law thing sounds cool, but it's hard to get excited when experts are so skeptical. It's like they're saying, 'Sure, it's interesting, but let's not get carried away.' I guess we'll see if it's the real deal or just another hype train. 🤔
Essa história de lei de escalabilidade de IA parece legal, mas é difícil se empolgar quando os especialistas são tão céticos. Parece que eles estão dizendo, 'Sim, é interessante, mas não vamos nos empolgar muito'. Vamos ver se é verdade ou só mais um hype. 🤔





家






