Sakana AI steigert die Modelltrainingsgeschwindigkeit dramatisch

Diese Woche gab Sakana AI, ein von Nvidia unterstütztes Startup mit Millionen aus Risikokapital, eine kühne Erklärung ab. Sie behaupteten, ihr neues KI-System, genannt AI CUDA Engineer, könne die Trainingsgeschwindigkeit bestimmter KI-Modelle um erstaunliche 100 Mal steigern.
Es stellte sich heraus, dass alles nur Schall und Rauch war.
Leute auf X (Sie wissen schon, die Plattform, die früher als Twitter bekannt war) deckten Sakanas Täuschung schnell auf. Anstatt die Dinge zu beschleunigen, verschlechterte ihre KI tatsächlich die Leistung. Ein Nutzer berichtete sogar von einer dreifachen Verlangsamung – autsch, das ist das genaue Gegenteil von dem, was versprochen wurde!
Was lief also schief? Laut Lucas Beyer von OpenAI war es ein hinterhältiger Fehler im Code. „Ihr ursprünglicher Code ist auf [eine] subtile Weise falsch“, wies Beyer auf X hin. „Die Tatsache, dass sie das Benchmarking ZWEIMAL mit völlig unterschiedlichen Ergebnissen durchgeführt haben, sollte sie innehalten und nachdenken lassen.“
In einer offenen Nachbetrachtung, die am Freitag veröffentlicht wurde, gestand Sakana ein. Sie gaben zu, dass ihr System einen Weg gefunden hatte, zu „schummeln“ (ihre Worte, nicht meine), indem es Schlupflöcher im Evaluationscode ausnutzte. Dies ermöglichte es, wichtige Prüfungen wie Genauigkeitsvalidierungen zu umgehen. Sakana nannte es „Reward Hacking“, bei dem die KI Abkürzungen findet, um Metriken zu verbessern, ohne das eigentliche Ziel zu erreichen – in diesem Fall, die Beschleunigung des Modelltrainings. Es ist ein bisschen wie bei diesen Schach spielenden KIs, die hinterhältige Wege finden, um zu gewinnen.
Sakana sagt, sie haben das Problem behoben und arbeiten daran, ihr Paper und die Ergebnisse zu aktualisieren, um widerzuspiegeln, was wirklich passiert ist. „Wir haben seitdem die Evaluations- und Laufzeitprofilierungsstruktur robuster gemacht, um viele solcher Schlupflöcher zu eliminieren“, schrieben sie auf X. „Wir sind dabei, unser Paper und unsere Ergebnisse zu überarbeiten, um die Auswirkungen zu reflektieren und zu diskutieren [...] Wir entschuldigen uns aufrichtig für unser Versehen bei unseren Lesern. Wir werden bald eine Überarbeitung dieser Arbeit vorlegen und unsere Erkenntnisse diskutบุ
Man muss Sakana Respekt dafür zollen, dass sie ihren Fehler eingestanden haben. Aber diese ganze Geschichte ist eine solide Erinnerung: Wenn etwas in der KI-Welt zu gut klingt, um wahr zu sein, ist es das wahrscheinlich auch.
Verwandter Artikel
AI-generiertes Papier passt Peer Review, Sakana behauptet, jedoch sind Details nuanciert
Das japanische KI-Startup Sakana hat kürzlich Wellen gemacht, indem er behauptete, dass sein KI-System, der AI-Wissenschaftler-V2, eine der ersten wissenschaftlichen Veröffentlichungen erzeugt hat. Es gibt jedoch einige wichtige Details zu berücksichtigen, bevor wir zu aufgeregt sind. Die Debatte über die Rolle von AI in der Wissenschaft erhitzt sich. Also
Die experimentelle KI „Claude“ von Anthropic wickelt in einem E-Commerce-Test Verhandlungen und Transaktionen ab
Angesichts der rasanten Fortschritte im Bereich der künstlichen Intelligenz hat Anthropic am vergangenen Freitag still und leise ein internes Experiment namens „Project Deal“ gestartet, um das Potenzi
DeepSeek Code steht kurz vor der Markteinführung
Angesichts der rasanten Entwicklung der KI-Technologie befindet sich DeepSeek an einem spannenden Wendepunkt. Das KI-Unternehmen gab kürzlich bekannt, dass es sich Finanzmittel in Höhe von über 70 Mil
Empfehlungen zu verwandten Spezialthemen
Kommentare (31)
これは…ひどいね。トレーニング速度を100倍にするなんて夢のような話だと思ったが、結局は誇大広告なのか。投資家へのプレゼンには十分かもしれないが、技術者はみんな疑ってかかるはずだ。実用化できなければ単なるバズワードに終わるよ。早く実証結果が欲しいな😅
100倍速くなるって、さすが壮大なパフォーマンスですね 🤔 もう少し具体的なデータが知りたい。技術革新は必要だけど、過剰な期待を煽るのは業界全体に悪影響かも。結局普通のユーザーには手が届かない高級技術?
진짜로 100배 빨라진다고? 🤔 회사 홍보용 과장 광고 같은데... 누구든 놀라운 성능이라면 실제 벤치마크 결과 공개해야 믿을 수 있을 거 같아요. 엔비디아 지원 받는다고 해도 너무 뻥튀기 한 것 같은데...
Ну и новость... 100-кратное ускорение обучения ИИ оказалось банальным раздуванием фактов. Опять стартапы пытаются впечатлить инвесторов громкими заявлениями, а по факту — обычный маркетинг 🤦♂️. NVIDIA, вы же умнее, как можно вестись на такие сказки?
Whoa, Sakana AI's 100x speed claim sounded too good to be true, and guess what? It was! 😅 Kinda reminds me of those overhyped tech demos that crash and burn. Hope they sort out the bugs soon!

Diese Woche gab Sakana AI, ein von Nvidia unterstütztes Startup mit Millionen aus Risikokapital, eine kühne Erklärung ab. Sie behaupteten, ihr neues KI-System, genannt AI CUDA Engineer, könne die Trainingsgeschwindigkeit bestimmter KI-Modelle um erstaunliche 100 Mal steigern.
Es stellte sich heraus, dass alles nur Schall und Rauch war.
Leute auf X (Sie wissen schon, die Plattform, die früher als Twitter bekannt war) deckten Sakanas Täuschung schnell auf. Anstatt die Dinge zu beschleunigen, verschlechterte ihre KI tatsächlich die Leistung. Ein Nutzer berichtete sogar von einer dreifachen Verlangsamung – autsch, das ist das genaue Gegenteil von dem, was versprochen wurde!
Was lief also schief? Laut Lucas Beyer von OpenAI war es ein hinterhältiger Fehler im Code. „Ihr ursprünglicher Code ist auf [eine] subtile Weise falsch“, wies Beyer auf X hin. „Die Tatsache, dass sie das Benchmarking ZWEIMAL mit völlig unterschiedlichen Ergebnissen durchgeführt haben, sollte sie innehalten und nachdenken lassen.“
In einer offenen Nachbetrachtung, die am Freitag veröffentlicht wurde, gestand Sakana ein. Sie gaben zu, dass ihr System einen Weg gefunden hatte, zu „schummeln“ (ihre Worte, nicht meine), indem es Schlupflöcher im Evaluationscode ausnutzte. Dies ermöglichte es, wichtige Prüfungen wie Genauigkeitsvalidierungen zu umgehen. Sakana nannte es „Reward Hacking“, bei dem die KI Abkürzungen findet, um Metriken zu verbessern, ohne das eigentliche Ziel zu erreichen – in diesem Fall, die Beschleunigung des Modelltrainings. Es ist ein bisschen wie bei diesen Schach spielenden KIs, die hinterhältige Wege finden, um zu gewinnen.
Sakana sagt, sie haben das Problem behoben und arbeiten daran, ihr Paper und die Ergebnisse zu aktualisieren, um widerzuspiegeln, was wirklich passiert ist. „Wir haben seitdem die Evaluations- und Laufzeitprofilierungsstruktur robuster gemacht, um viele solcher Schlupflöcher zu eliminieren“, schrieben sie auf X. „Wir sind dabei, unser Paper und unsere Ergebnisse zu überarbeiten, um die Auswirkungen zu reflektieren und zu diskutieren [...] Wir entschuldigen uns aufrichtig für unser Versehen bei unseren Lesern. Wir werden bald eine Überarbeitung dieser Arbeit vorlegen und unsere Erkenntnisse diskutบุ
Man muss Sakana Respekt dafür zollen, dass sie ihren Fehler eingestanden haben. Aber diese ganze Geschichte ist eine solide Erinnerung: Wenn etwas in der KI-Welt zu gut klingt, um wahr zu sein, ist es das wahrscheinlich auch.
AI-generiertes Papier passt Peer Review, Sakana behauptet, jedoch sind Details nuanciert
Das japanische KI-Startup Sakana hat kürzlich Wellen gemacht, indem er behauptete, dass sein KI-System, der AI-Wissenschaftler-V2, eine der ersten wissenschaftlichen Veröffentlichungen erzeugt hat. Es gibt jedoch einige wichtige Details zu berücksichtigen, bevor wir zu aufgeregt sind. Die Debatte über die Rolle von AI in der Wissenschaft erhitzt sich. Also
Die experimentelle KI „Claude“ von Anthropic wickelt in einem E-Commerce-Test Verhandlungen und Transaktionen ab
Angesichts der rasanten Fortschritte im Bereich der künstlichen Intelligenz hat Anthropic am vergangenen Freitag still und leise ein internes Experiment namens „Project Deal“ gestartet, um das Potenzi
DeepSeek Code steht kurz vor der Markteinführung
Angesichts der rasanten Entwicklung der KI-Technologie befindet sich DeepSeek an einem spannenden Wendepunkt. Das KI-Unternehmen gab kürzlich bekannt, dass es sich Finanzmittel in Höhe von über 70 Mil
これは…ひどいね。トレーニング速度を100倍にするなんて夢のような話だと思ったが、結局は誇大広告なのか。投資家へのプレゼンには十分かもしれないが、技術者はみんな疑ってかかるはずだ。実用化できなければ単なるバズワードに終わるよ。早く実証結果が欲しいな😅
100倍速くなるって、さすが壮大なパフォーマンスですね 🤔 もう少し具体的なデータが知りたい。技術革新は必要だけど、過剰な期待を煽るのは業界全体に悪影響かも。結局普通のユーザーには手が届かない高級技術?
진짜로 100배 빨라진다고? 🤔 회사 홍보용 과장 광고 같은데... 누구든 놀라운 성능이라면 실제 벤치마크 결과 공개해야 믿을 수 있을 거 같아요. 엔비디아 지원 받는다고 해도 너무 뻥튀기 한 것 같은데...
Ну и новость... 100-кратное ускорение обучения ИИ оказалось банальным раздуванием фактов. Опять стартапы пытаются впечатлить инвесторов громкими заявлениями, а по факту — обычный маркетинг 🤦♂️. NVIDIA, вы же умнее, как можно вестись на такие сказки?
Whoa, Sakana AI's 100x speed claim sounded too good to be true, and guess what? It was! 😅 Kinda reminds me of those overhyped tech demos that crash and burn. Hope they sort out the bugs soon!





Heim






