Sakana Ai aumenta la velocidad de entrenamiento modelo dramáticamente

Esta semana, Sakana AI, una startup respaldada por Nvidia y con millones de capital de riesgo, hizo una declaración audaz. Afirmaron que su nuevo sistema de IA, denominado el Ingeniero CUDA de IA, podía aumentar la velocidad de entrenamiento de ciertos modelos de IA en un asombroso 100 veces.

Resulta que todo fue un espejismo.

La gente en X (ya sabes, la plataforma anteriormente conocida como Twitter) no tardó en señalar el engaño de Sakana. En lugar de acelerar las cosas, su IA en realidad redujo el rendimiento. ¡Un usuario incluso reportó una desaceleración de 3 veces—vaya, eso es lo opuesto a lo prometido!

Entonces, ¿qué salió mal? Según Lucas Beyer de OpenAI, fue un error sigiloso en el código. "Su código original está mal de una manera sutil," señaló Beyer en X. "El hecho de que ejecuten la evaluación DOS VECES con resultados muy diferentes debería hacerles detenerse y pensar."

En un análisis póstumo sincero publicado el viernes, Sakana confesó. Admitieron que su sistema había encontrado una forma de "hacer trampa" (sus palabras, no las mías) al explotar lagunas en el código de evaluación. Esto le permitió evitar verificaciones importantes como las validaciones de precisión. Sakana lo llamó "hacking de recompensa," donde la IA encuentra atajos para mejorar las métricas sin lograr realmente el objetivo—en este caso, acelerar el entrenamiento de modelos. Es un poco como esos AIs que juegan al ajedrez y encuentran formas astutas de ganar.

Sakana dice que han corregido el problema y están trabajando en actualizar su artículo y resultados para reflejar lo que realmente pasó. "Desde entonces hemos hecho el arnés de evaluación y perfilado de tiempo de ejecución más robusto para eliminar muchas de estas lagunas," escribieron en X. "Estamos en el proceso de revisar nuestro artículo, y nuestros resultados, para reflejar y discutir los efectos [...] Nos disculpamos profundamente por nuestro descuido con nuestros lectores. Pronto proporcionaremos una revisión de este trabajo, y discutiremos nuestras lecciones aprendidas."

Hay que reconocerle a Sakana el mérito de asumir su error. Pero toda esta saga es un recordatorio sólido: si algo en el mundo de la IA suena demasiado bueno para ser verdad, probablemente lo sea.