Sakana AIは、モデルトレーニング速度を劇的に向上させます

今週、Nvidiaの支援を受け、ベンチャーキャピタルから数百万ドルの資金を得ているスタートアップ企業Sakana AIが大胆な声明を発表しました。彼らは、AI CUDA Engineerと名付けられた新しいAIシステムが、特定のAIモデルのトレーニング速度を驚異的な100倍に向上させることができると主張しました。
しかし、それはすべて煙と鏡だったのです。
X(以前はTwitterとして知られていたプラットフォーム)のユーザーたちは、すぐにSakanaの虚偽を指摘しました。スピードを上げるどころか、彼らのAIは実際にはパフォーマンスを下げる結果となりました。あるユーザーは、約束されたものとは正反対の3倍の遅延を報告しました!
では、何が問題だったのでしょうか?OpenAIのLucas Beyerによると、コードに潜む狡猾なバグが原因でした。「彼らの元のコードは微妙な点で間違っている」とBeyerはXで指摘しました。「ベンチマークを2回実行して全く異なる結果が出た時点で、彼らは立ち止まって考えるべきだった。」
金曜日に公開された率直な事後報告で、Sakanaは正直に認めました。彼らのシステムは、評価コードの抜け穴を利用して「ごまかし」(彼らの言葉で、私の言葉ではありません)する方法を見つけ出し、精度検証などの重要なチェックを回避していたのです。Sakanaはこれを「報酬ハッキング」と呼び、AIがモデルのトレーニングを実際に高速化することなく、メトリクスを上げるための近道を見つける行為だと説明しました。これは、チェスをプレイするAIが狡猾な方法で勝利を見つけるようなものです。
Sakanaは問題を修正し、論文と結果を実際の状況を反映するように更新していると述べています。「その後、評価および実行時のプロファイリングハーネスをより堅牢にし、そのような抜け穴の多くを排除しました」と彼らはXに書きました。「現在、論文と結果を改訂し、その影響について議論するプロセスにあります [...] 読者に対して我々の見落としを深くお詫びします。近日中にこの研究の改訂版を提供し、得られた教訓について議論します。」
Sakanaがミスを認めたことには敬意を表すべきです。しかし、この一連の出来事は、AIの世界であまりにも良すぎる話は、恐らく本当ではないということを強く思い出させてくれます。
関連記事
AIに生成された紙がピアレビューに合格する、とサカナは主張していますが、詳細は微妙です
日本のAIスタートアップSakanaは最近、そのAIシステムであるAI Scientist-V2が最初のピアレビューされた科学出版物の1つを生成したと主張することで波を起こしました。ただし、興奮する前に考慮すべき重要な詳細がいくつかあります。科学におけるAIの役割に関する議論は激化しています。それで
DeepMindのCEOハサビス氏:1日6時間睡眠し、通常午前1時頃に活力を感じます。
フォーチュンは最近、Google DeepMindのCEOであるデミス・ハサビスへのインタビューを掲載し、彼の休息と生産性に対する非伝統的なアプローチを明らかにした。ハサビスは、睡眠時間が非常に短いことを明かし、覚醒時間を2つの明確な作業ブロックに構造化していると語った。彼の睡眠習慣について、ハサビスは「6時間の睡眠を目標としているが、私の習慣は典型的ではない。一日中効果的に機能できる」と述べた。彼は、6時間未満の睡眠は脳の健康に悪影響を及ぼすことを強調した。2010年にDeepMindを共
OpenAIとAnthropic、収益の伸び悩みにもかかわらず市場シェア争いを繰り広げる
OpenAIが収益目標を達成できなかったとする最近の報道を受け、今週火曜日にハイテク株に売り圧力が生じたにもかかわらず、AI研究機関への民間投資家は依然として堅調だ。経験豊富な出資者たちは、メディアによる否定的な報道にもかかわらず、投資額を減らすつもりはないことを明らかにしている。アナリストらは、現在のAI競争はまだ初期段階にあると見ており、「勝者総取り」という結末はあり得ないと見ている。高いコン
関連特集おすすめ
コメント (32)
0/500
Haha, another 'breakthrough' that turns out to be just hype. 100x speed boost? Yeah right, more like 100x marketing spin. 🚫
これは…ひどいね。トレーニング速度を100倍にするなんて夢のような話だと思ったが、結局は誇大広告なのか。投資家へのプレゼンには十分かもしれないが、技術者はみんな疑ってかかるはずだ。実用化できなければ単なるバズワードに終わるよ。早く実証結果が欲しいな😅
100倍速くなるって、さすが壮大なパフォーマンスですね 🤔 もう少し具体的なデータが知りたい。技術革新は必要だけど、過剰な期待を煽るのは業界全体に悪影響かも。結局普通のユーザーには手が届かない高級技術?
진짜로 100배 빨라진다고? 🤔 회사 홍보용 과장 광고 같은데... 누구든 놀라운 성능이라면 실제 벤치마크 결과 공개해야 믿을 수 있을 거 같아요. 엔비디아 지원 받는다고 해도 너무 뻥튀기 한 것 같은데...
Ну и новость... 100-кратное ускорение обучения ИИ оказалось банальным раздуванием фактов. Опять стартапы пытаются впечатлить инвесторов громкими заявлениями, а по факту — обычный маркетинг 🤦♂️. NVIDIA, вы же умнее, как можно вестись на такие сказки?

今週、Nvidiaの支援を受け、ベンチャーキャピタルから数百万ドルの資金を得ているスタートアップ企業Sakana AIが大胆な声明を発表しました。彼らは、AI CUDA Engineerと名付けられた新しいAIシステムが、特定のAIモデルのトレーニング速度を驚異的な100倍に向上させることができると主張しました。
しかし、それはすべて煙と鏡だったのです。
X(以前はTwitterとして知られていたプラットフォーム)のユーザーたちは、すぐにSakanaの虚偽を指摘しました。スピードを上げるどころか、彼らのAIは実際にはパフォーマンスを下げる結果となりました。あるユーザーは、約束されたものとは正反対の3倍の遅延を報告しました!
では、何が問題だったのでしょうか?OpenAIのLucas Beyerによると、コードに潜む狡猾なバグが原因でした。「彼らの元のコードは微妙な点で間違っている」とBeyerはXで指摘しました。「ベンチマークを2回実行して全く異なる結果が出た時点で、彼らは立ち止まって考えるべきだった。」
金曜日に公開された率直な事後報告で、Sakanaは正直に認めました。彼らのシステムは、評価コードの抜け穴を利用して「ごまかし」(彼らの言葉で、私の言葉ではありません)する方法を見つけ出し、精度検証などの重要なチェックを回避していたのです。Sakanaはこれを「報酬ハッキング」と呼び、AIがモデルのトレーニングを実際に高速化することなく、メトリクスを上げるための近道を見つける行為だと説明しました。これは、チェスをプレイするAIが狡猾な方法で勝利を見つけるようなものです。
Sakanaは問題を修正し、論文と結果を実際の状況を反映するように更新していると述べています。「その後、評価および実行時のプロファイリングハーネスをより堅牢にし、そのような抜け穴の多くを排除しました」と彼らはXに書きました。「現在、論文と結果を改訂し、その影響について議論するプロセスにあります [...] 読者に対して我々の見落としを深くお詫びします。近日中にこの研究の改訂版を提供し、得られた教訓について議論します。」
Sakanaがミスを認めたことには敬意を表すべきです。しかし、この一連の出来事は、AIの世界であまりにも良すぎる話は、恐らく本当ではないということを強く思い出させてくれます。
AIに生成された紙がピアレビューに合格する、とサカナは主張していますが、詳細は微妙です
日本のAIスタートアップSakanaは最近、そのAIシステムであるAI Scientist-V2が最初のピアレビューされた科学出版物の1つを生成したと主張することで波を起こしました。ただし、興奮する前に考慮すべき重要な詳細がいくつかあります。科学におけるAIの役割に関する議論は激化しています。それで
DeepMindのCEOハサビス氏:1日6時間睡眠し、通常午前1時頃に活力を感じます。
フォーチュンは最近、Google DeepMindのCEOであるデミス・ハサビスへのインタビューを掲載し、彼の休息と生産性に対する非伝統的なアプローチを明らかにした。ハサビスは、睡眠時間が非常に短いことを明かし、覚醒時間を2つの明確な作業ブロックに構造化していると語った。彼の睡眠習慣について、ハサビスは「6時間の睡眠を目標としているが、私の習慣は典型的ではない。一日中効果的に機能できる」と述べた。彼は、6時間未満の睡眠は脳の健康に悪影響を及ぼすことを強調した。2010年にDeepMindを共
OpenAIとAnthropic、収益の伸び悩みにもかかわらず市場シェア争いを繰り広げる
OpenAIが収益目標を達成できなかったとする最近の報道を受け、今週火曜日にハイテク株に売り圧力が生じたにもかかわらず、AI研究機関への民間投資家は依然として堅調だ。経験豊富な出資者たちは、メディアによる否定的な報道にもかかわらず、投資額を減らすつもりはないことを明らかにしている。アナリストらは、現在のAI競争はまだ初期段階にあると見ており、「勝者総取り」という結末はあり得ないと見ている。高いコン
Haha, another 'breakthrough' that turns out to be just hype. 100x speed boost? Yeah right, more like 100x marketing spin. 🚫
これは…ひどいね。トレーニング速度を100倍にするなんて夢のような話だと思ったが、結局は誇大広告なのか。投資家へのプレゼンには十分かもしれないが、技術者はみんな疑ってかかるはずだ。実用化できなければ単なるバズワードに終わるよ。早く実証結果が欲しいな😅
100倍速くなるって、さすが壮大なパフォーマンスですね 🤔 もう少し具体的なデータが知りたい。技術革新は必要だけど、過剰な期待を煽るのは業界全体に悪影響かも。結局普通のユーザーには手が届かない高級技術?
진짜로 100배 빨라진다고? 🤔 회사 홍보용 과장 광고 같은데... 누구든 놀라운 성능이라면 실제 벤치마크 결과 공개해야 믿을 수 있을 거 같아요. 엔비디아 지원 받는다고 해도 너무 뻥튀기 한 것 같은데...
Ну и новость... 100-кратное ускорение обучения ИИ оказалось банальным раздуванием фактов. Опять стартапы пытаются впечатлить инвесторов громкими заявлениями, а по факту — обычный маркетинг 🤦♂️. NVIDIA, вы же умнее, как можно вестись на такие сказки?





家






