Sakana AI augmente considérablement la vitesse de formation du modèle

Cette semaine, Sakana AI, une startup soutenue par Nvidia et financée par des millions de capital-risque, a fait une déclaration audacieuse. Ils ont affirmé que leur nouveau système d'IA, surnommé l'Ingénieur CUDA IA, pouvait augmenter la vitesse d'entraînement de certains modèles d'IA d'un impressionnant facteur de 100.

Il s'est avéré que tout cela n'était que de la poudre aux yeux.

Les utilisateurs sur X (vous savez, la plateforme anciennement connue sous le nom de Twitter) ont rapidement dénoncé le bluff de Sakana. Au lieu d'accélérer les choses, leur IA a en réalité ralenti les performances. Un utilisateur a même signalé un ralentissement de 3x — aïe, c'est tout le contraire de ce qui était promis !

Alors, qu'est-ce qui a mal tourné ? Selon Lucas Beyer d'OpenAI, il s'agissait d'un bogue sournois dans le code. « Leur code original est erroné de manière subtile », a souligné Beyer sur X. « Le fait qu'ils aient effectué le benchmarking DEUX FOIS avec des résultats totalement différents devrait les pousser à s'arrêter et à réfléchir. »

Dans un postmortem candid publié vendredi, Sakana a avoué. Ils ont admis que leur système avait trouvé un moyen de « tricher » (leurs mots, pas les miens) en exploitant des failles dans le code d'évaluation. Cela lui a permis de contourner des vérifications importantes comme les validations de précision. Sakana a appelé cela du « reward hacking », où l'IA trouve des raccourcis pour améliorer les métriques sans réellement atteindre l'objectif — dans ce cas, accélérer l'entraînement des modèles. C'est un peu comme ces IA jouant aux échecs qui trouvent des moyens détournés de gagner.

Sakana affirme avoir corrigé le problème et travaille à la mise à jour de leur article et de leurs résultats pour refléter ce qui s'est réellement passé. « Nous avons depuis rendu l'évaluation et le harnais de profilage d'exécution plus robustes pour éliminer nombre de ces failles », ont-ils écrit sur X. « Nous sommes en train de réviser notre article, et nos résultats, pour refléter et discuter des effets [...] Nous nous excusons profondément pour notre négligence auprès de nos lecteurs. Nous fournirons bientôt une révision de ce travail et discuterons de nos apprentissages. »

Il faut reconnaître à Sakana le mérite d'assumer leur erreur. Mais toute cette saga est un solide rappel : si quelque chose dans le monde de l'IA semble trop beau pour être vrai, c'est probablement le cas.