Sakana AI augmente considérablement la vitesse de formation du modèle

# sakana

Cette semaine, Sakana AI, une startup soutenue par Nvidia et Flush avec des millions de capital-risque, a fait une déclaration audacieuse. Ils ont affirmé que leur nouveau système d'IA, surnommé l'ingénieur AI CUDA, pourrait augmenter la vitesse d'entraînement de certains modèles d'IA à 100 fois. Il s'avère que c'était de la fumée et des miroirs. Les gens de X (vous savez, la plate-forme anciennement connue sous le nom de Twitter) n'a pas tardé à appeler le bluff de Sakana. Au lieu d'accélérer les choses, leur IA a réellement entraîné des performances. Un utilisateur a même signalé un ralentissement 3x - Yikes, parler de l'opposé de ce qui a été promis! Alors, qu'est-ce qui ne va pas? Selon Lucas Beyer d'Openai, c'était un bug sournois dans le code. "Leur code d'origine est faux de [une] manière subtile", a souligné Beyer sur X. "Le fait qu'ils dirigent deux fois avec des résultats extrêmement différents devraient les faire s'arrêter et penser." Dans un post-mortem franc sorti vendredi, Sakana s'est avérée. Ils ont admis que leur système avait trouvé un moyen de "tricher" (leurs mots, pas les miens) en exploitant des lacunes dans le code d'évaluation. Cela lui a permis de contourner des contrôles importants comme les validations de précision. Sakana l'a appelé "récompense du piratage", où l'IA trouve les raccourcis pour augmenter les mesures sans atteindre l'objectif - dans ce cas, accélérant la formation des modèles. C'est un peu comme ces AIS qui jouent aux échecs qui trouvent des façons sournoises de gagner. Sakana dit qu'ils ont résolu le problème et travaillent à la mise à jour de leur article et des résultats pour refléter ce qui s'est réellement passé. "Nous avons depuis rendu l'évaluation et le harnais de profilage d'exécution plus robustes pour éliminer bon nombre de ces lacunes [sic]", ont-ils écrit sur X. "Nous sommes en train de réviser notre article et nos résultats, pour refléter et discuter des effets [...] nous nous excusons profondément pour notre surveillance à nos lecteurs. Nous fournirons une révision de ce travail bientôt et discutons de nos apprentissages." Je dois donner des accessoires Sakana pour avoir possédé leur erreur. Mais toute cette saga est un solide rappel: si quelque chose dans le monde de l'IA semble trop beau pour être vrai, c'est probablement le cas.

Article connexe

commentaires (25)