Sakana AIは、モデルトレーニング速度を劇的に向上させます
今週、Nvidiaの支援を受け、ベンチャーキャピタルから数百万ドルの資金を得ているスタートアップ企業Sakana AIが大胆な声明を発表しました。彼らは、AI CUDA Engineerと名付けられた新しいAIシステムが、特定のAIモデルのトレーニング速度を驚異的な100倍に向上させることができると主張しました。
しかし、それはすべて煙と鏡だったのです。
X（以前はTwitterとして知られていたプラットフォーム）のユーザーたちは、すぐにSakanaの虚偽を指摘しました。スピードを上げるどころか、彼らのAIは実際にはパフォーマンスを下げる結果となりました。あるユーザーは、約束されたものとは正反対の3倍の遅延を報告しました！
では、何が問題だったのでしょうか？OpenAIのLucas Beyerによると、コードに潜む狡猾なバグが原因でした。「彼らの元のコードは微妙な点で間違っている」とBeyerはXで指摘しました。「ベンチマークを2回実行して全く異なる結果が出た時点で、彼らは立ち止まって考えるべきだった。」
金曜日に公開された率直な事後報告で、Sakanaは正直に認めました。彼らのシステムは、評価コードの抜け穴を利用して「ごまかし」（彼らの言葉で、私の言葉ではありません）する方法を見つけ出し、精度検証などの重要なチェックを回避していたのです。Sakanaはこれを「報酬ハッキング」と呼び、AIがモデルのトレーニングを実際に高速化することなく、メトリクスを上げるための近道を見つける行為だと説明しました。これは、チェスをプレイするAIが狡猾な方法で勝利を見つけるようなものです。
Sakanaは問題を修正し、論文と結果を実際の状況を反映するように更新していると述べています。「その後、評価および実行時のプロファイリングハーネスをより堅牢にし、そのような抜け穴の多くを排除しました」と彼らはXに書きました。「現在、論文と結果を改訂し、その影響について議論するプロセスにあります [...] 読者に対して我々の見落としを深くお詫びします。近日中にこの研究の改訂版を提供し、得られた教訓について議論します。」
Sakanaがミスを認めたことには敬意を表すべきです。しかし、この一連の出来事は、AIの世界であまりにも良すぎる話は、恐らく本当ではないということを強く思い出させてくれます。
関連記事
AIに生成された紙がピアレビューに合格する、とサカナは主張していますが、詳細は微妙です
日本のAIスタートアップSakanaは最近、そのAIシステムであるAI Scientist-V2が最初のピアレビューされた科学出版物の1つを生成したと主張することで波を起こしました。ただし、興奮する前に考慮すべき重要な詳細がいくつかあります。科学におけるAIの役割に関する議論は激化しています。それで
AudibleがAIナレーションのオーディオブック提供を新たな出版社との提携で強化
Audible、Amazonのオーディオブックプラットフォームは、火曜日に選択された出版社とのコラボレーションを発表し、印刷書籍や電子書籍をAIナレーションのオーディオブックに変換する取り組みを開始した。この動きは、Apple、Spotify、その他の急成長中のオーディオブック業界の競合他社との競争の中で、ライブラリを迅速に拡大することを目的としている。Audibleは、AmazonのAI技術を活
AI駆動の音楽創作：ブリトニー・スピアーズとマイケル・ジャクソンの「Circus」を探る
音楽業界は、人工知能（AI）が音楽創作の革新を推進し、変革の時期を迎えています。ボーカルの作成から完全なトラックの作曲まで、AIは芸術的可能性を再定義しています。このブログでは、AI生成音楽をクリエイティブな視点から探り、ブリトニー・スピアーズとAIで再現されたマイケル・ジャクソンをフィーチャーしたユニークなプロジェクトに焦点を当てます。技術の可能性、課題、倫理的問題を、魅力的な想像力豊かなトラッ
コメント (26)
0/200
![WillWalker]()
WillWalker
2025年8月6日 12:00:59 JST
What a letdown! Sakana AI's big claim about 100x faster training sounded amazing, but it’s just hype? Gotta admit, I was excited for a sec, but now I’m just skeptical about these bold AI promises. 🥳😑
0
![DanielThomas]()
DanielThomas
2025年4月16日 21:41:15 JST
사카나 AI가 모델 훈련 속도를 100배나 높인다고 해서 기대했는데, 다 허언이었어요. 정말 실망스러웠지만, 적어도 사람들 입에 오르내렸네요. 다음에는 정말로 기대를 저버리지 말아줬으면 좋겠어요! 😔
0
![WalterMartinez]()
WalterMartinez
2025年4月16日 18:31:51 JST
A promessa da Sakana AI de aumentar a velocidade de treinamento do modelo em 100 vezes parecia boa demais para ser verdade, e foi mesmo! Uma decepção total, mas pelo menos eles conseguiram que todos falassem sobre eles. Talvez da próxima vez eles realmente entreguem o que prometem! 😂
0
![GregoryJones]()
GregoryJones
2025年4月14日 8:47:56 JST
サカナAIのモデル訓練速度を100倍にするという約束は信じられないほど良すぎましたね。結局、期待外れでした。でも、話題にはなったから、次は本当に期待させてくれるかもね！😅
0
![FrankSmith]()
FrankSmith
2025年4月14日 6:56:43 JST
La promesa de Sakana AI de aumentar la velocidad de entrenamiento del modelo 100 veces sonaba demasiado buena para ser verdad, ¡y lo fue! Una decepción total, pero al menos lograron que todos hablaran de ellos. ¡Quizás la próxima vez realmente cumplan con lo prometido! 😂
0
![JasonJackson]()
JasonJackson
2025年4月14日 4:01:53 JST
Sakana AI's promise to boost model training speed by 100 times sounded too good to be true, and guess what? It was! Total letdown, but hey, at least they got everyone talking about them. Maybe next time they'll actually deliver on their hype! 😂
0
今週、Nvidiaの支援を受け、ベンチャーキャピタルから数百万ドルの資金を得ているスタートアップ企業Sakana AIが大胆な声明を発表しました。彼らは、AI CUDA Engineerと名付けられた新しいAIシステムが、特定のAIモデルのトレーニング速度を驚異的な100倍に向上させることができると主張しました。
しかし、それはすべて煙と鏡だったのです。
X（以前はTwitterとして知られていたプラットフォーム）のユーザーたちは、すぐにSakanaの虚偽を指摘しました。スピードを上げるどころか、彼らのAIは実際にはパフォーマンスを下げる結果となりました。あるユーザーは、約束されたものとは正反対の3倍の遅延を報告しました！
では、何が問題だったのでしょうか？OpenAIのLucas Beyerによると、コードに潜む狡猾なバグが原因でした。「彼らの元のコードは微妙な点で間違っている」とBeyerはXで指摘しました。「ベンチマークを2回実行して全く異なる結果が出た時点で、彼らは立ち止まって考えるべきだった。」
金曜日に公開された率直な事後報告で、Sakanaは正直に認めました。彼らのシステムは、評価コードの抜け穴を利用して「ごまかし」（彼らの言葉で、私の言葉ではありません）する方法を見つけ出し、精度検証などの重要なチェックを回避していたのです。Sakanaはこれを「報酬ハッキング」と呼び、AIがモデルのトレーニングを実際に高速化することなく、メトリクスを上げるための近道を見つける行為だと説明しました。これは、チェスをプレイするAIが狡猾な方法で勝利を見つけるようなものです。
Sakanaは問題を修正し、論文と結果を実際の状況を反映するように更新していると述べています。「その後、評価および実行時のプロファイリングハーネスをより堅牢にし、そのような抜け穴の多くを排除しました」と彼らはXに書きました。「現在、論文と結果を改訂し、その影響について議論するプロセスにあります [...] 読者に対して我々の見落としを深くお詫びします。近日中にこの研究の改訂版を提供し、得られた教訓について議論します。」
Sakanaがミスを認めたことには敬意を表すべきです。しかし、この一連の出来事は、AIの世界であまりにも良すぎる話は、恐らく本当ではないということを強く思い出させてくれます。
AIに生成された紙がピアレビューに合格する、とサカナは主張していますが、詳細は微妙です
日本のAIスタートアップSakanaは最近、そのAIシステムであるAI Scientist-V2が最初のピアレビューされた科学出版物の1つを生成したと主張することで波を起こしました。ただし、興奮する前に考慮すべき重要な詳細がいくつかあります。科学におけるAIの役割に関する議論は激化しています。それで
AudibleがAIナレーションのオーディオブック提供を新たな出版社との提携で強化
Audible、Amazonのオーディオブックプラットフォームは、火曜日に選択された出版社とのコラボレーションを発表し、印刷書籍や電子書籍をAIナレーションのオーディオブックに変換する取り組みを開始した。この動きは、Apple、Spotify、その他の急成長中のオーディオブック業界の競合他社との競争の中で、ライブラリを迅速に拡大することを目的としている。Audibleは、AmazonのAI技術を活
AI駆動の音楽創作：ブリトニー・スピアーズとマイケル・ジャクソンの「Circus」を探る
音楽業界は、人工知能（AI）が音楽創作の革新を推進し、変革の時期を迎えています。ボーカルの作成から完全なトラックの作曲まで、AIは芸術的可能性を再定義しています。このブログでは、AI生成音楽をクリエイティブな視点から探り、ブリトニー・スピアーズとAIで再現されたマイケル・ジャクソンをフィーチャーしたユニークなプロジェクトに焦点を当てます。技術の可能性、課題、倫理的問題を、魅力的な想像力豊かなトラッ
2025年8月6日 12:00:59 JST
What a letdown! Sakana AI's big claim about 100x faster training sounded amazing, but it’s just hype? Gotta admit, I was excited for a sec, but now I’m just skeptical about these bold AI promises. 🥳😑
0
2025年4月16日 21:41:15 JST
사카나 AI가 모델 훈련 속도를 100배나 높인다고 해서 기대했는데, 다 허언이었어요. 정말 실망스러웠지만, 적어도 사람들 입에 오르내렸네요. 다음에는 정말로 기대를 저버리지 말아줬으면 좋겠어요! 😔
0
2025年4月16日 18:31:51 JST
A promessa da Sakana AI de aumentar a velocidade de treinamento do modelo em 100 vezes parecia boa demais para ser verdade, e foi mesmo! Uma decepção total, mas pelo menos eles conseguiram que todos falassem sobre eles. Talvez da próxima vez eles realmente entreguem o que prometem! 😂
0
2025年4月14日 8:47:56 JST
サカナAIのモデル訓練速度を100倍にするという約束は信じられないほど良すぎましたね。結局、期待外れでした。でも、話題にはなったから、次は本当に期待させてくれるかもね！😅
0
2025年4月14日 6:56:43 JST
La promesa de Sakana AI de aumentar la velocidad de entrenamiento del modelo 100 veces sonaba demasiado buena para ser verdad, ¡y lo fue! Una decepción total, pero al menos lograron que todos hablaran de ellos. ¡Quizás la próxima vez realmente cumplan con lo prometido! 😂
0
2025年4月14日 4:01:53 JST
Sakana AI's promise to boost model training speed by 100 times sounded too good to be true, and guess what? It was! Total letdown, but hey, at least they got everyone talking about them. Maybe next time they'll actually deliver on their hype! 😂
0
