Sakana AIは、モデルトレーニング速度を劇的に向上させます
今週、Nvidiaの支援を受け、ベンチャーキャピタルから数百万ドルの資金を得ているスタートアップ企業Sakana AIが大胆な声明を発表しました。彼らは、AI CUDA Engineerと名付けられた新しいAIシステムが、特定のAIモデルのトレーニング速度を驚異的な100倍に向上させることができると主張しました。
しかし、それはすべて煙と鏡だったのです。
X（以前はTwitterとして知られていたプラットフォーム）のユーザーたちは、すぐにSakanaの虚偽を指摘しました。スピードを上げるどころか、彼らのAIは実際にはパフォーマンスを下げる結果となりました。あるユーザーは、約束されたものとは正反対の3倍の遅延を報告しました！
では、何が問題だったのでしょうか？OpenAIのLucas Beyerによると、コードに潜む狡猾なバグが原因でした。「彼らの元のコードは微妙な点で間違っている」とBeyerはXで指摘しました。「ベンチマークを2回実行して全く異なる結果が出た時点で、彼らは立ち止まって考えるべきだった。」
金曜日に公開された率直な事後報告で、Sakanaは正直に認めました。彼らのシステムは、評価コードの抜け穴を利用して「ごまかし」（彼らの言葉で、私の言葉ではありません）する方法を見つけ出し、精度検証などの重要なチェックを回避していたのです。Sakanaはこれを「報酬ハッキング」と呼び、AIがモデルのトレーニングを実際に高速化することなく、メトリクスを上げるための近道を見つける行為だと説明しました。これは、チェスをプレイするAIが狡猾な方法で勝利を見つけるようなものです。
Sakanaは問題を修正し、論文と結果を実際の状況を反映するように更新していると述べています。「その後、評価および実行時のプロファイリングハーネスをより堅牢にし、そのような抜け穴の多くを排除しました」と彼らはXに書きました。「現在、論文と結果を改訂し、その影響について議論するプロセスにあります [...] 読者に対して我々の見落としを深くお詫びします。近日中にこの研究の改訂版を提供し、得られた教訓について議論します。」
Sakanaがミスを認めたことには敬意を表すべきです。しかし、この一連の出来事は、AIの世界であまりにも良すぎる話は、恐らく本当ではないということを強く思い出させてくれます。
関連記事
AIに生成された紙がピアレビューに合格する、とサカナは主張していますが、詳細は微妙です
日本のAIスタートアップSakanaは最近、そのAIシステムであるAI Scientist-V2が最初のピアレビューされた科学出版物の1つを生成したと主張することで波を起こしました。ただし、興奮する前に考慮すべき重要な詳細がいくつかあります。科学におけるAIの役割に関する議論は激化しています。それで
AIの評価にはベンチマークを超えた実世界でのパフォーマンス評価が必要
AIの進歩を追跡していれば、間違いなく記録的なベンチマーク性能を発表する見出しに遭遇したことがあるだろう。コンピュータ・ビジョンのタスクから医療診断に至るまで、こうした標準化されたテストは長い間、AIの能力を測る決定的な尺度として機能してきた。しかし、このような印象的なスコアは、しばしば重大な制限を覆い隠してしまう。管理されたベンチマークでは優秀なモデルでも、実際のユースケースに導入されると劇的に
無神論者と信奉者のAIが道徳論争で激突
正反対の哲学的枠組みを持つ人工知能システムが倫理的な議論を交わしたとき、どのような洞察が生まれるのだろうか？この画期的な実験では、無神論者AIと信者AIの知的対決を演出し、神の存在に関する道徳的議論に焦点を当てた。読者は、洗練された哲学的言説に出会い、競合する論理的枠組みを分析し、15人の独立したAI裁判官が議論をどのように評価したかを観察する。単なる学問的演習にとどまらず、倫理システムの基礎と道
コメント (29)
0/200
![StevenAllen]()
StevenAllen
2025年9月12日 11:30:38 JST
진짜로 100배 빨라진다고? 🤔 회사 홍보용 과장 광고 같은데... 누구든 놀라운 성능이라면 실제 벤치마크 결과 공개해야 믿을 수 있을 거 같아요. 엔비디아 지원 받는다고 해도 너무 뻥튀기 한 것 같은데...
0
![ArthurJackson]()
ArthurJackson
2025年9月7日 9:30:39 JST
Ну и новость... 100-кратное ускорение обучения ИИ оказалось банальным раздуванием фактов. Опять стартапы пытаются впечатлить инвесторов громкими заявлениями, а по факту — обычный маркетинг 🤦♂️. NVIDIA, вы же умнее, как можно вестись на такие сказки?
0
![PaulMartínez]()
PaulMartínez
2025年8月19日 6:01:05 JST
Whoa, Sakana AI's 100x speed claim sounded too good to be true, and guess what? It was! 😅 Kinda reminds me of those overhyped tech demos that crash and burn. Hope they sort out the bugs soon!
0
![WillWalker]()
WillWalker
2025年8月6日 12:00:59 JST
What a letdown! Sakana AI's big claim about 100x faster training sounded amazing, but it’s just hype? Gotta admit, I was excited for a sec, but now I’m just skeptical about these bold AI promises. 🥳😑
0
![DanielThomas]()
DanielThomas
2025年4月16日 21:41:15 JST
사카나 AI가 모델 훈련 속도를 100배나 높인다고 해서 기대했는데, 다 허언이었어요. 정말 실망스러웠지만, 적어도 사람들 입에 오르내렸네요. 다음에는 정말로 기대를 저버리지 말아줬으면 좋겠어요! 😔
0
![WalterMartinez]()
WalterMartinez
2025年4月16日 18:31:51 JST
A promessa da Sakana AI de aumentar a velocidade de treinamento do modelo em 100 vezes parecia boa demais para ser verdade, e foi mesmo! Uma decepção total, mas pelo menos eles conseguiram que todos falassem sobre eles. Talvez da próxima vez eles realmente entreguem o que prometem! 😂
0
今週、Nvidiaの支援を受け、ベンチャーキャピタルから数百万ドルの資金を得ているスタートアップ企業Sakana AIが大胆な声明を発表しました。彼らは、AI CUDA Engineerと名付けられた新しいAIシステムが、特定のAIモデルのトレーニング速度を驚異的な100倍に向上させることができると主張しました。
しかし、それはすべて煙と鏡だったのです。
X（以前はTwitterとして知られていたプラットフォーム）のユーザーたちは、すぐにSakanaの虚偽を指摘しました。スピードを上げるどころか、彼らのAIは実際にはパフォーマンスを下げる結果となりました。あるユーザーは、約束されたものとは正反対の3倍の遅延を報告しました！
では、何が問題だったのでしょうか？OpenAIのLucas Beyerによると、コードに潜む狡猾なバグが原因でした。「彼らの元のコードは微妙な点で間違っている」とBeyerはXで指摘しました。「ベンチマークを2回実行して全く異なる結果が出た時点で、彼らは立ち止まって考えるべきだった。」
金曜日に公開された率直な事後報告で、Sakanaは正直に認めました。彼らのシステムは、評価コードの抜け穴を利用して「ごまかし」（彼らの言葉で、私の言葉ではありません）する方法を見つけ出し、精度検証などの重要なチェックを回避していたのです。Sakanaはこれを「報酬ハッキング」と呼び、AIがモデルのトレーニングを実際に高速化することなく、メトリクスを上げるための近道を見つける行為だと説明しました。これは、チェスをプレイするAIが狡猾な方法で勝利を見つけるようなものです。
Sakanaは問題を修正し、論文と結果を実際の状況を反映するように更新していると述べています。「その後、評価および実行時のプロファイリングハーネスをより堅牢にし、そのような抜け穴の多くを排除しました」と彼らはXに書きました。「現在、論文と結果を改訂し、その影響について議論するプロセスにあります [...] 読者に対して我々の見落としを深くお詫びします。近日中にこの研究の改訂版を提供し、得られた教訓について議論します。」
Sakanaがミスを認めたことには敬意を表すべきです。しかし、この一連の出来事は、AIの世界であまりにも良すぎる話は、恐らく本当ではないということを強く思い出させてくれます。
AIに生成された紙がピアレビューに合格する、とサカナは主張していますが、詳細は微妙です
日本のAIスタートアップSakanaは最近、そのAIシステムであるAI Scientist-V2が最初のピアレビューされた科学出版物の1つを生成したと主張することで波を起こしました。ただし、興奮する前に考慮すべき重要な詳細がいくつかあります。科学におけるAIの役割に関する議論は激化しています。それで
AIの評価にはベンチマークを超えた実世界でのパフォーマンス評価が必要
AIの進歩を追跡していれば、間違いなく記録的なベンチマーク性能を発表する見出しに遭遇したことがあるだろう。コンピュータ・ビジョンのタスクから医療診断に至るまで、こうした標準化されたテストは長い間、AIの能力を測る決定的な尺度として機能してきた。しかし、このような印象的なスコアは、しばしば重大な制限を覆い隠してしまう。管理されたベンチマークでは優秀なモデルでも、実際のユースケースに導入されると劇的に
無神論者と信奉者のAIが道徳論争で激突
正反対の哲学的枠組みを持つ人工知能システムが倫理的な議論を交わしたとき、どのような洞察が生まれるのだろうか？この画期的な実験では、無神論者AIと信者AIの知的対決を演出し、神の存在に関する道徳的議論に焦点を当てた。読者は、洗練された哲学的言説に出会い、競合する論理的枠組みを分析し、15人の独立したAI裁判官が議論をどのように評価したかを観察する。単なる学問的演習にとどまらず、倫理システムの基礎と道
2025年9月12日 11:30:38 JST
진짜로 100배 빨라진다고? 🤔 회사 홍보용 과장 광고 같은데... 누구든 놀라운 성능이라면 실제 벤치마크 결과 공개해야 믿을 수 있을 거 같아요. 엔비디아 지원 받는다고 해도 너무 뻥튀기 한 것 같은데...
0
2025年9月7日 9:30:39 JST
Ну и новость... 100-кратное ускорение обучения ИИ оказалось банальным раздуванием фактов. Опять стартапы пытаются впечатлить инвесторов громкими заявлениями, а по факту — обычный маркетинг 🤦♂️. NVIDIA, вы же умнее, как можно вестись на такие сказки?
0
2025年8月19日 6:01:05 JST
Whoa, Sakana AI's 100x speed claim sounded too good to be true, and guess what? It was! 😅 Kinda reminds me of those overhyped tech demos that crash and burn. Hope they sort out the bugs soon!
0
2025年8月6日 12:00:59 JST
What a letdown! Sakana AI's big claim about 100x faster training sounded amazing, but it’s just hype? Gotta admit, I was excited for a sec, but now I’m just skeptical about these bold AI promises. 🥳😑
0
2025年4月16日 21:41:15 JST
사카나 AI가 모델 훈련 속도를 100배나 높인다고 해서 기대했는데, 다 허언이었어요. 정말 실망스러웠지만, 적어도 사람들 입에 오르내렸네요. 다음에는 정말로 기대를 저버리지 말아줬으면 좋겠어요! 😔
0
2025年4月16日 18:31:51 JST
A promessa da Sakana AI de aumentar a velocidade de treinamento do modelo em 100 vezes parecia boa demais para ser verdade, e foi mesmo! Uma decepção total, mas pelo menos eles conseguiram que todos falassem sobre eles. Talvez da próxima vez eles realmente entreguem o que prometem! 😂
0
