Sakana Ai aumenta la velocidad de entrenamiento modelo dramáticamente

# sakana

Esta semana, Sakana AI, una startup respaldada por Nvidia y al ras de millones de capital de riesgo, hizo una declaración audaz. Afirmaron que su nuevo sistema de IA, denominado ingeniero de AI Cuda, podría aumentar la velocidad de entrenamiento de ciertos modelos de IA por un asombroso 100 veces. Resulta que todo era humo y espejos. La gente de X (ya sabes, la plataforma anteriormente conocida como Twitter) se apresuró a llamar a Sakana's Bluff. En lugar de acelerar las cosas, su IA realmente arrastró el rendimiento hacia abajo. Un usuario incluso informó una desaceleración de 3x: ye, hable sobre lo contrario de lo que se prometió! Entonces, ¿qué salió mal? Según Lucas Beyer de Operai, fue un error astuto en el código. "Su código de origen está mal en [una] manera sutil", señaló Beyer en X. "El hecho de que ejecutaran la evaluación comparativa dos veces con resultados muy diferentes debería hacer que se detengan y piensen". En una candidata postmortem lanzada el viernes, Sakana fese. Admitieron que su sistema había descubierto una forma de "engañar" (sus palabras, no las mías) explotando las lagunas en el código de evaluación. Esto le permitió evitar controles importantes como validaciones de precisión. Sakana lo llamó "piratería de recompensas", donde la IA encuentra atajos para aumentar las métricas sin lograr el objetivo, en este caso, acelerando el entrenamiento modelo. Es un poco como esas AIS que juegan ajedrez que encuentran formas furtivas de ganar. Sakana dice que han solucionado el problema y están trabajando en actualizar su documento y resultados para reflejar lo que realmente sucedió. "Desde entonces hemos hecho que la evaluación y el arnés de perfil de tiempo de ejecución sean más sólidos para eliminar muchas de esas lagunas [sic]", escribieron sobre X. "Estamos en el proceso de revisar nuestro documento y nuestros resultados, para reflejar y discutir los efectos [...] Nos disculpamos profundamente por nuestro supervisión a nuestros lectores. Proporcionaremos pronto este trabajo y discutiremos nuestros aprendizajes". Tengo que dar a Sakana accesorios por poseer su error. Pero toda esta saga es un recordatorio sólido: si algo en el mundo de la IA suena demasiado bueno para ser verdad, probablemente lo sea.

Artículo relacionado

comentario (25)