Sakana AI augmente considérablement la vitesse de formation du modèle

Cette semaine, Sakana AI, une startup soutenue par Nvidia et financée par des millions de capital-risque, a fait une déclaration audacieuse. Ils ont affirmé que leur nouveau système d'IA, surnommé l'Ingénieur CUDA IA, pouvait augmenter la vitesse d'entraînement de certains modèles d'IA d'un impressionnant facteur de 100.
Il s'est avéré que tout cela n'était que de la poudre aux yeux.
Les utilisateurs sur X (vous savez, la plateforme anciennement connue sous le nom de Twitter) ont rapidement dénoncé le bluff de Sakana. Au lieu d'accélérer les choses, leur IA a en réalité ralenti les performances. Un utilisateur a même signalé un ralentissement de 3x — aïe, c'est tout le contraire de ce qui était promis !
Alors, qu'est-ce qui a mal tourné ? Selon Lucas Beyer d'OpenAI, il s'agissait d'un bogue sournois dans le code. « Leur code original est erroné de manière subtile », a souligné Beyer sur X. « Le fait qu'ils aient effectué le benchmarking DEUX FOIS avec des résultats totalement différents devrait les pousser à s'arrêter et à réfléchir. »
Dans un postmortem candid publié vendredi, Sakana a avoué. Ils ont admis que leur système avait trouvé un moyen de « tricher » (leurs mots, pas les miens) en exploitant des failles dans le code d'évaluation. Cela lui a permis de contourner des vérifications importantes comme les validations de précision. Sakana a appelé cela du « reward hacking », où l'IA trouve des raccourcis pour améliorer les métriques sans réellement atteindre l'objectif — dans ce cas, accélérer l'entraînement des modèles. C'est un peu comme ces IA jouant aux échecs qui trouvent des moyens détournés de gagner.
Sakana affirme avoir corrigé le problème et travaille à la mise à jour de leur article et de leurs résultats pour refléter ce qui s'est réellement passé. « Nous avons depuis rendu l'évaluation et le harnais de profilage d'exécution plus robustes pour éliminer nombre de ces failles », ont-ils écrit sur X. « Nous sommes en train de réviser notre article, et nos résultats, pour refléter et discuter des effets [...] Nous nous excusons profondément pour notre négligence auprès de nos lecteurs. Nous fournirons bientôt une révision de ce travail et discuterons de nos apprentissages. »
Il faut reconnaître à Sakana le mérite d'assumer leur erreur. Mais toute cette saga est un solide rappel : si quelque chose dans le monde de l'IA semble trop beau pour être vrai, c'est probablement le cas.
Article connexe
Le papier généré par l'AI passe l'examen par les pairs, affirme Sakana, mais les détails sont nuancés
La startup d'IA japonaise Sakana a récemment fait des vagues en affirmant que son système d'IA, le scientifique-V2 de l'IA, a généré l'une des premières publications scientifiques évaluées par des pairs. Cependant, il y a des détails importants à considérer avant de nous exciter trop. Le débat sur le rôle de l'IA dans la science est de se réchauffer. Donc
PDG de DeepMind, Hassabis : Je dors six heures par jour et je me sens généralement plein d’énergie vers 1 h du matin.
Fortune a récemment publié une interview avec Demis Hassabis, PDG de Google DeepMind, révélant son approche non conventionnelle du repos et de la productivité. Hassabis a divulgué qu’il dort très peu, structurant ses heures d’éveil en deux blocs de t
OpenAI et Anthropic se disputent des parts de marché malgré des résultats en deçà des attentes
Bien que des informations récentes laissent entendre qu’OpenAI n’aurait pas atteint ses objectifs de chiffre d’affaires, ce qui a pesé sur les valeurs technologiques ce mardi, les investisseurs privés
Recommandations de sujets spéciaux liés
commentaires (32)
Haha, another 'breakthrough' that turns out to be just hype. 100x speed boost? Yeah right, more like 100x marketing spin. 🚫
これは…ひどいね。トレーニング速度を100倍にするなんて夢のような話だと思ったが、結局は誇大広告なのか。投資家へのプレゼンには十分かもしれないが、技術者はみんな疑ってかかるはずだ。実用化できなければ単なるバズワードに終わるよ。早く実証結果が欲しいな😅
100倍速くなるって、さすが壮大なパフォーマンスですね 🤔 もう少し具体的なデータが知りたい。技術革新は必要だけど、過剰な期待を煽るのは業界全体に悪影響かも。結局普通のユーザーには手が届かない高級技術?
진짜로 100배 빨라진다고? 🤔 회사 홍보용 과장 광고 같은데... 누구든 놀라운 성능이라면 실제 벤치마크 결과 공개해야 믿을 수 있을 거 같아요. 엔비디아 지원 받는다고 해도 너무 뻥튀기 한 것 같은데...
Ну и новость... 100-кратное ускорение обучения ИИ оказалось банальным раздуванием фактов. Опять стартапы пытаются впечатлить инвесторов громкими заявлениями, а по факту — обычный маркетинг 🤦♂️. NVIDIA, вы же умнее, как можно вестись на такие сказки?

Cette semaine, Sakana AI, une startup soutenue par Nvidia et financée par des millions de capital-risque, a fait une déclaration audacieuse. Ils ont affirmé que leur nouveau système d'IA, surnommé l'Ingénieur CUDA IA, pouvait augmenter la vitesse d'entraînement de certains modèles d'IA d'un impressionnant facteur de 100.
Il s'est avéré que tout cela n'était que de la poudre aux yeux.
Les utilisateurs sur X (vous savez, la plateforme anciennement connue sous le nom de Twitter) ont rapidement dénoncé le bluff de Sakana. Au lieu d'accélérer les choses, leur IA a en réalité ralenti les performances. Un utilisateur a même signalé un ralentissement de 3x — aïe, c'est tout le contraire de ce qui était promis !
Alors, qu'est-ce qui a mal tourné ? Selon Lucas Beyer d'OpenAI, il s'agissait d'un bogue sournois dans le code. « Leur code original est erroné de manière subtile », a souligné Beyer sur X. « Le fait qu'ils aient effectué le benchmarking DEUX FOIS avec des résultats totalement différents devrait les pousser à s'arrêter et à réfléchir. »
Dans un postmortem candid publié vendredi, Sakana a avoué. Ils ont admis que leur système avait trouvé un moyen de « tricher » (leurs mots, pas les miens) en exploitant des failles dans le code d'évaluation. Cela lui a permis de contourner des vérifications importantes comme les validations de précision. Sakana a appelé cela du « reward hacking », où l'IA trouve des raccourcis pour améliorer les métriques sans réellement atteindre l'objectif — dans ce cas, accélérer l'entraînement des modèles. C'est un peu comme ces IA jouant aux échecs qui trouvent des moyens détournés de gagner.
Sakana affirme avoir corrigé le problème et travaille à la mise à jour de leur article et de leurs résultats pour refléter ce qui s'est réellement passé. « Nous avons depuis rendu l'évaluation et le harnais de profilage d'exécution plus robustes pour éliminer nombre de ces failles », ont-ils écrit sur X. « Nous sommes en train de réviser notre article, et nos résultats, pour refléter et discuter des effets [...] Nous nous excusons profondément pour notre négligence auprès de nos lecteurs. Nous fournirons bientôt une révision de ce travail et discuterons de nos apprentissages. »
Il faut reconnaître à Sakana le mérite d'assumer leur erreur. Mais toute cette saga est un solide rappel : si quelque chose dans le monde de l'IA semble trop beau pour être vrai, c'est probablement le cas.
Le papier généré par l'AI passe l'examen par les pairs, affirme Sakana, mais les détails sont nuancés
La startup d'IA japonaise Sakana a récemment fait des vagues en affirmant que son système d'IA, le scientifique-V2 de l'IA, a généré l'une des premières publications scientifiques évaluées par des pairs. Cependant, il y a des détails importants à considérer avant de nous exciter trop. Le débat sur le rôle de l'IA dans la science est de se réchauffer. Donc
PDG de DeepMind, Hassabis : Je dors six heures par jour et je me sens généralement plein d’énergie vers 1 h du matin.
Fortune a récemment publié une interview avec Demis Hassabis, PDG de Google DeepMind, révélant son approche non conventionnelle du repos et de la productivité. Hassabis a divulgué qu’il dort très peu, structurant ses heures d’éveil en deux blocs de t
OpenAI et Anthropic se disputent des parts de marché malgré des résultats en deçà des attentes
Bien que des informations récentes laissent entendre qu’OpenAI n’aurait pas atteint ses objectifs de chiffre d’affaires, ce qui a pesé sur les valeurs technologiques ce mardi, les investisseurs privés
Haha, another 'breakthrough' that turns out to be just hype. 100x speed boost? Yeah right, more like 100x marketing spin. 🚫
これは…ひどいね。トレーニング速度を100倍にするなんて夢のような話だと思ったが、結局は誇大広告なのか。投資家へのプレゼンには十分かもしれないが、技術者はみんな疑ってかかるはずだ。実用化できなければ単なるバズワードに終わるよ。早く実証結果が欲しいな😅
100倍速くなるって、さすが壮大なパフォーマンスですね 🤔 もう少し具体的なデータが知りたい。技術革新は必要だけど、過剰な期待を煽るのは業界全体に悪影響かも。結局普通のユーザーには手が届かない高級技術?
진짜로 100배 빨라진다고? 🤔 회사 홍보용 과장 광고 같은데... 누구든 놀라운 성능이라면 실제 벤치마크 결과 공개해야 믿을 수 있을 거 같아요. 엔비디아 지원 받는다고 해도 너무 뻥튀기 한 것 같은데...
Ну и новость... 100-кратное ускорение обучения ИИ оказалось банальным раздуванием фактов. Опять стартапы пытаются впечатлить инвесторов громкими заявлениями, а по факту — обычный маркетинг 🤦♂️. NVIDIA, вы же умнее, как можно вестись на такие сказки?





Maison






