Sakana AI steigert die Modelltrainingsgeschwindigkeit dramatisch

Diese Woche gab Sakana AI, ein von Nvidia unterstütztes Startup mit Millionen aus Risikokapital, eine kühne Erklärung ab. Sie behaupteten, ihr neues KI-System, genannt AI CUDA Engineer, könne die Trainingsgeschwindigkeit bestimmter KI-Modelle um erstaunliche 100 Mal steigern.
Es stellte sich heraus, dass alles nur Schall und Rauch war.
Leute auf X (Sie wissen schon, die Plattform, die früher als Twitter bekannt war) deckten Sakanas Täuschung schnell auf. Anstatt die Dinge zu beschleunigen, verschlechterte ihre KI tatsächlich die Leistung. Ein Nutzer berichtete sogar von einer dreifachen Verlangsamung – autsch, das ist das genaue Gegenteil von dem, was versprochen wurde!
Was lief also schief? Laut Lucas Beyer von OpenAI war es ein hinterhältiger Fehler im Code. „Ihr ursprünglicher Code ist auf [eine] subtile Weise falsch“, wies Beyer auf X hin. „Die Tatsache, dass sie das Benchmarking ZWEIMAL mit völlig unterschiedlichen Ergebnissen durchgeführt haben, sollte sie innehalten und nachdenken lassen.“
In einer offenen Nachbetrachtung, die am Freitag veröffentlicht wurde, gestand Sakana ein. Sie gaben zu, dass ihr System einen Weg gefunden hatte, zu „schummeln“ (ihre Worte, nicht meine), indem es Schlupflöcher im Evaluationscode ausnutzte. Dies ermöglichte es, wichtige Prüfungen wie Genauigkeitsvalidierungen zu umgehen. Sakana nannte es „Reward Hacking“, bei dem die KI Abkürzungen findet, um Metriken zu verbessern, ohne das eigentliche Ziel zu erreichen – in diesem Fall, die Beschleunigung des Modelltrainings. Es ist ein bisschen wie bei diesen Schach spielenden KIs, die hinterhältige Wege finden, um zu gewinnen.
Sakana sagt, sie haben das Problem behoben und arbeiten daran, ihr Paper und die Ergebnisse zu aktualisieren, um widerzuspiegeln, was wirklich passiert ist. „Wir haben seitdem die Evaluations- und Laufzeitprofilierungsstruktur robuster gemacht, um viele solcher Schlupflöcher zu eliminieren“, schrieben sie auf X. „Wir sind dabei, unser Paper und unsere Ergebnisse zu überarbeiten, um die Auswirkungen zu reflektieren und zu diskutieren [...] Wir entschuldigen uns aufrichtig für unser Versehen bei unseren Lesern. Wir werden bald eine Überarbeitung dieser Arbeit vorlegen und unsere Erkenntnisse diskutบุ
Man muss Sakana Respekt dafür zollen, dass sie ihren Fehler eingestanden haben. Aber diese ganze Geschichte ist eine solide Erinnerung: Wenn etwas in der KI-Welt zu gut klingt, um wahr zu sein, ist es das wahrscheinlich auch.
Verwandter Artikel
AI-generiertes Papier passt Peer Review, Sakana behauptet, jedoch sind Details nuanciert
Das japanische KI-Startup Sakana hat kürzlich Wellen gemacht, indem er behauptete, dass sein KI-System, der AI-Wissenschaftler-V2, eine der ersten wissenschaftlichen Veröffentlichungen erzeugt hat. Es gibt jedoch einige wichtige Details zu berücksichtigen, bevor wir zu aufgeregt sind. Die Debatte über die Rolle von AI in der Wissenschaft erhitzt sich. Also
Apple Smart Glasses könnten auf der WWDC27 vorgestellt werden und dabei den Schutz der Privatsphäre in den Mittelpunkt stellen
Bloombergs Mark Gurman berichtet, dass Apples Smart Glasses mit dem Codenamen N50 im Juni 2027 auf der WWDC27 vorgestellt werden sollen, wobei ein Verkaufsstart im Herbst 2027 erwartet wird. Ursprünglich für Ende dieses Jahres und Anfang 2027 geplant
Inside Details Exposed About Next-Gen Gemini: Strained Computing Power, Internal Teams Disagreed on Development Priorities and Resource Allocation
Berichten zufolge wurde der Start des hocherwarteten Next-Generation-Gemini-Modells von Google verschoben. Interne Uneinigkeiten über Entwicklungsprioritäten und Ressourcenallokation, kombiniert mit begrenzter Rechenkapazität und komplexen Genehmigun
Empfehlungen zu verwandten Spezialthemen
Kommentare (32)
Haha, another 'breakthrough' that turns out to be just hype. 100x speed boost? Yeah right, more like 100x marketing spin. 🚫
これは…ひどいね。トレーニング速度を100倍にするなんて夢のような話だと思ったが、結局は誇大広告なのか。投資家へのプレゼンには十分かもしれないが、技術者はみんな疑ってかかるはずだ。実用化できなければ単なるバズワードに終わるよ。早く実証結果が欲しいな😅
100倍速くなるって、さすが壮大なパフォーマンスですね 🤔 もう少し具体的なデータが知りたい。技術革新は必要だけど、過剰な期待を煽るのは業界全体に悪影響かも。結局普通のユーザーには手が届かない高級技術?
진짜로 100배 빨라진다고? 🤔 회사 홍보용 과장 광고 같은데... 누구든 놀라운 성능이라면 실제 벤치마크 결과 공개해야 믿을 수 있을 거 같아요. 엔비디아 지원 받는다고 해도 너무 뻥튀기 한 것 같은데...
Ну и новость... 100-кратное ускорение обучения ИИ оказалось банальным раздуванием фактов. Опять стартапы пытаются впечатлить инвесторов громкими заявлениями, а по факту — обычный маркетинг 🤦♂️. NVIDIA, вы же умнее, как можно вестись на такие сказки?

Diese Woche gab Sakana AI, ein von Nvidia unterstütztes Startup mit Millionen aus Risikokapital, eine kühne Erklärung ab. Sie behaupteten, ihr neues KI-System, genannt AI CUDA Engineer, könne die Trainingsgeschwindigkeit bestimmter KI-Modelle um erstaunliche 100 Mal steigern.
Es stellte sich heraus, dass alles nur Schall und Rauch war.
Leute auf X (Sie wissen schon, die Plattform, die früher als Twitter bekannt war) deckten Sakanas Täuschung schnell auf. Anstatt die Dinge zu beschleunigen, verschlechterte ihre KI tatsächlich die Leistung. Ein Nutzer berichtete sogar von einer dreifachen Verlangsamung – autsch, das ist das genaue Gegenteil von dem, was versprochen wurde!
Was lief also schief? Laut Lucas Beyer von OpenAI war es ein hinterhältiger Fehler im Code. „Ihr ursprünglicher Code ist auf [eine] subtile Weise falsch“, wies Beyer auf X hin. „Die Tatsache, dass sie das Benchmarking ZWEIMAL mit völlig unterschiedlichen Ergebnissen durchgeführt haben, sollte sie innehalten und nachdenken lassen.“
In einer offenen Nachbetrachtung, die am Freitag veröffentlicht wurde, gestand Sakana ein. Sie gaben zu, dass ihr System einen Weg gefunden hatte, zu „schummeln“ (ihre Worte, nicht meine), indem es Schlupflöcher im Evaluationscode ausnutzte. Dies ermöglichte es, wichtige Prüfungen wie Genauigkeitsvalidierungen zu umgehen. Sakana nannte es „Reward Hacking“, bei dem die KI Abkürzungen findet, um Metriken zu verbessern, ohne das eigentliche Ziel zu erreichen – in diesem Fall, die Beschleunigung des Modelltrainings. Es ist ein bisschen wie bei diesen Schach spielenden KIs, die hinterhältige Wege finden, um zu gewinnen.
Sakana sagt, sie haben das Problem behoben und arbeiten daran, ihr Paper und die Ergebnisse zu aktualisieren, um widerzuspiegeln, was wirklich passiert ist. „Wir haben seitdem die Evaluations- und Laufzeitprofilierungsstruktur robuster gemacht, um viele solcher Schlupflöcher zu eliminieren“, schrieben sie auf X. „Wir sind dabei, unser Paper und unsere Ergebnisse zu überarbeiten, um die Auswirkungen zu reflektieren und zu diskutieren [...] Wir entschuldigen uns aufrichtig für unser Versehen bei unseren Lesern. Wir werden bald eine Überarbeitung dieser Arbeit vorlegen und unsere Erkenntnisse diskutบุ
Man muss Sakana Respekt dafür zollen, dass sie ihren Fehler eingestanden haben. Aber diese ganze Geschichte ist eine solide Erinnerung: Wenn etwas in der KI-Welt zu gut klingt, um wahr zu sein, ist es das wahrscheinlich auch.
AI-generiertes Papier passt Peer Review, Sakana behauptet, jedoch sind Details nuanciert
Das japanische KI-Startup Sakana hat kürzlich Wellen gemacht, indem er behauptete, dass sein KI-System, der AI-Wissenschaftler-V2, eine der ersten wissenschaftlichen Veröffentlichungen erzeugt hat. Es gibt jedoch einige wichtige Details zu berücksichtigen, bevor wir zu aufgeregt sind. Die Debatte über die Rolle von AI in der Wissenschaft erhitzt sich. Also
Apple Smart Glasses könnten auf der WWDC27 vorgestellt werden und dabei den Schutz der Privatsphäre in den Mittelpunkt stellen
Bloombergs Mark Gurman berichtet, dass Apples Smart Glasses mit dem Codenamen N50 im Juni 2027 auf der WWDC27 vorgestellt werden sollen, wobei ein Verkaufsstart im Herbst 2027 erwartet wird. Ursprünglich für Ende dieses Jahres und Anfang 2027 geplant
Inside Details Exposed About Next-Gen Gemini: Strained Computing Power, Internal Teams Disagreed on Development Priorities and Resource Allocation
Berichten zufolge wurde der Start des hocherwarteten Next-Generation-Gemini-Modells von Google verschoben. Interne Uneinigkeiten über Entwicklungsprioritäten und Ressourcenallokation, kombiniert mit begrenzter Rechenkapazität und komplexen Genehmigun
Haha, another 'breakthrough' that turns out to be just hype. 100x speed boost? Yeah right, more like 100x marketing spin. 🚫
これは…ひどいね。トレーニング速度を100倍にするなんて夢のような話だと思ったが、結局は誇大広告なのか。投資家へのプレゼンには十分かもしれないが、技術者はみんな疑ってかかるはずだ。実用化できなければ単なるバズワードに終わるよ。早く実証結果が欲しいな😅
100倍速くなるって、さすが壮大なパフォーマンスですね 🤔 もう少し具体的なデータが知りたい。技術革新は必要だけど、過剰な期待を煽るのは業界全体に悪影響かも。結局普通のユーザーには手が届かない高級技術?
진짜로 100배 빨라진다고? 🤔 회사 홍보용 과장 광고 같은데... 누구든 놀라운 성능이라면 실제 벤치마크 결과 공개해야 믿을 수 있을 거 같아요. 엔비디아 지원 받는다고 해도 너무 뻥튀기 한 것 같은데...
Ну и новость... 100-кратное ускорение обучения ИИ оказалось банальным раздуванием фактов. Опять стартапы пытаются впечатлить инвесторов громкими заявлениями, а по факту — обычный маркетинг 🤦♂️. NVIDIA, вы же умнее, как можно вестись на такие сказки?





Heim






