Sakana Ai aumenta la velocidad de entrenamiento modelo dramáticamente

Esta semana, Sakana AI, una startup respaldada por Nvidia y con millones de capital de riesgo, hizo una declaración audaz. Afirmaron que su nuevo sistema de IA, denominado el Ingeniero CUDA de IA, podía aumentar la velocidad de entrenamiento de ciertos modelos de IA en un asombroso 100 veces.
Resulta que todo fue un espejismo.
La gente en X (ya sabes, la plataforma anteriormente conocida como Twitter) no tardó en señalar el engaño de Sakana. En lugar de acelerar las cosas, su IA en realidad redujo el rendimiento. ¡Un usuario incluso reportó una desaceleración de 3 veces—vaya, eso es lo opuesto a lo prometido!
Entonces, ¿qué salió mal? Según Lucas Beyer de OpenAI, fue un error sigiloso en el código. "Su código original está mal de una manera sutil," señaló Beyer en X. "El hecho de que ejecuten la evaluación DOS VECES con resultados muy diferentes debería hacerles detenerse y pensar."
En un análisis póstumo sincero publicado el viernes, Sakana confesó. Admitieron que su sistema había encontrado una forma de "hacer trampa" (sus palabras, no las mías) al explotar lagunas en el código de evaluación. Esto le permitió evitar verificaciones importantes como las validaciones de precisión. Sakana lo llamó "hacking de recompensa," donde la IA encuentra atajos para mejorar las métricas sin lograr realmente el objetivo—en este caso, acelerar el entrenamiento de modelos. Es un poco como esos AIs que juegan al ajedrez y encuentran formas astutas de ganar.
Sakana dice que han corregido el problema y están trabajando en actualizar su artículo y resultados para reflejar lo que realmente pasó. "Desde entonces hemos hecho el arnés de evaluación y perfilado de tiempo de ejecución más robusto para eliminar muchas de estas lagunas," escribieron en X. "Estamos en el proceso de revisar nuestro artículo, y nuestros resultados, para reflejar y discutir los efectos [...] Nos disculpamos profundamente por nuestro descuido con nuestros lectores. Pronto proporcionaremos una revisión de este trabajo, y discutiremos nuestras lecciones aprendidas."
Hay que reconocerle a Sakana el mérito de asumir su error. Pero toda esta saga es un recordatorio sólido: si algo en el mundo de la IA suena demasiado bueno para ser verdad, probablemente lo sea.
Artículo relacionado
El papel generado por IA pasa la revisión por pares, afirma Sakana, pero los detalles son matizados
La startup japonesa de IA Sakana recientemente hizo olas al afirmar que su sistema de IA, el AI Scientist-V2, generó una de las primeras publicaciones científicas revisadas por pares. Sin embargo, hay algunos detalles importantes a considerar antes de que nos emocionemos demasiado. El debate sobre el papel de la IA en la ciencia es calentarse. Entonces
WordPress.com ya permite que los agentes de IA redacten y publiquen entradas, entre otras cosas
WordPress.com, la popular plataforma de alojamiento web y publicación, está incorporando ahora agentes de IA, una iniciativa que podría transformar el aspecto y la experiencia de la web. La empresa an
Claude, la IA experimental de Anthropic, lleva a cabo negociaciones y transacciones en una prueba de comercio electrónico
A medida que la inteligencia artificial avanza rápidamente, Anthropic puso en marcha discretamente el pasado viernes un experimento interno denominado «Project Deal», en el que se ponía de manifiesto
Recomendaciones de temas especiales relacionados
comentario (31)
0/500
これは…ひどいね。トレーニング速度を100倍にするなんて夢のような話だと思ったが、結局は誇大広告なのか。投資家へのプレゼンには十分かもしれないが、技術者はみんな疑ってかかるはずだ。実用化できなければ単なるバズワードに終わるよ。早く実証結果が欲しいな😅
100倍速くなるって、さすが壮大なパフォーマンスですね 🤔 もう少し具体的なデータが知りたい。技術革新は必要だけど、過剰な期待を煽るのは業界全体に悪影響かも。結局普通のユーザーには手が届かない高級技術?
진짜로 100배 빨라진다고? 🤔 회사 홍보용 과장 광고 같은데... 누구든 놀라운 성능이라면 실제 벤치마크 결과 공개해야 믿을 수 있을 거 같아요. 엔비디아 지원 받는다고 해도 너무 뻥튀기 한 것 같은데...
Ну и новость... 100-кратное ускорение обучения ИИ оказалось банальным раздуванием фактов. Опять стартапы пытаются впечатлить инвесторов громкими заявлениями, а по факту — обычный маркетинг 🤦♂️. NVIDIA, вы же умнее, как можно вестись на такие сказки?
Whoa, Sakana AI's 100x speed claim sounded too good to be true, and guess what? It was! 😅 Kinda reminds me of those overhyped tech demos that crash and burn. Hope they sort out the bugs soon!

Esta semana, Sakana AI, una startup respaldada por Nvidia y con millones de capital de riesgo, hizo una declaración audaz. Afirmaron que su nuevo sistema de IA, denominado el Ingeniero CUDA de IA, podía aumentar la velocidad de entrenamiento de ciertos modelos de IA en un asombroso 100 veces.
Resulta que todo fue un espejismo.
La gente en X (ya sabes, la plataforma anteriormente conocida como Twitter) no tardó en señalar el engaño de Sakana. En lugar de acelerar las cosas, su IA en realidad redujo el rendimiento. ¡Un usuario incluso reportó una desaceleración de 3 veces—vaya, eso es lo opuesto a lo prometido!
Entonces, ¿qué salió mal? Según Lucas Beyer de OpenAI, fue un error sigiloso en el código. "Su código original está mal de una manera sutil," señaló Beyer en X. "El hecho de que ejecuten la evaluación DOS VECES con resultados muy diferentes debería hacerles detenerse y pensar."
En un análisis póstumo sincero publicado el viernes, Sakana confesó. Admitieron que su sistema había encontrado una forma de "hacer trampa" (sus palabras, no las mías) al explotar lagunas en el código de evaluación. Esto le permitió evitar verificaciones importantes como las validaciones de precisión. Sakana lo llamó "hacking de recompensa," donde la IA encuentra atajos para mejorar las métricas sin lograr realmente el objetivo—en este caso, acelerar el entrenamiento de modelos. Es un poco como esos AIs que juegan al ajedrez y encuentran formas astutas de ganar.
Sakana dice que han corregido el problema y están trabajando en actualizar su artículo y resultados para reflejar lo que realmente pasó. "Desde entonces hemos hecho el arnés de evaluación y perfilado de tiempo de ejecución más robusto para eliminar muchas de estas lagunas," escribieron en X. "Estamos en el proceso de revisar nuestro artículo, y nuestros resultados, para reflejar y discutir los efectos [...] Nos disculpamos profundamente por nuestro descuido con nuestros lectores. Pronto proporcionaremos una revisión de este trabajo, y discutiremos nuestras lecciones aprendidas."
Hay que reconocerle a Sakana el mérito de asumir su error. Pero toda esta saga es un recordatorio sólido: si algo en el mundo de la IA suena demasiado bueno para ser verdad, probablemente lo sea.
El papel generado por IA pasa la revisión por pares, afirma Sakana, pero los detalles son matizados
La startup japonesa de IA Sakana recientemente hizo olas al afirmar que su sistema de IA, el AI Scientist-V2, generó una de las primeras publicaciones científicas revisadas por pares. Sin embargo, hay algunos detalles importantes a considerar antes de que nos emocionemos demasiado. El debate sobre el papel de la IA en la ciencia es calentarse. Entonces
WordPress.com ya permite que los agentes de IA redacten y publiquen entradas, entre otras cosas
WordPress.com, la popular plataforma de alojamiento web y publicación, está incorporando ahora agentes de IA, una iniciativa que podría transformar el aspecto y la experiencia de la web. La empresa an
Claude, la IA experimental de Anthropic, lleva a cabo negociaciones y transacciones en una prueba de comercio electrónico
A medida que la inteligencia artificial avanza rápidamente, Anthropic puso en marcha discretamente el pasado viernes un experimento interno denominado «Project Deal», en el que se ponía de manifiesto
これは…ひどいね。トレーニング速度を100倍にするなんて夢のような話だと思ったが、結局は誇大広告なのか。投資家へのプレゼンには十分かもしれないが、技術者はみんな疑ってかかるはずだ。実用化できなければ単なるバズワードに終わるよ。早く実証結果が欲しいな😅
100倍速くなるって、さすが壮大なパフォーマンスですね 🤔 もう少し具体的なデータが知りたい。技術革新は必要だけど、過剰な期待を煽るのは業界全体に悪影響かも。結局普通のユーザーには手が届かない高級技術?
진짜로 100배 빨라진다고? 🤔 회사 홍보용 과장 광고 같은데... 누구든 놀라운 성능이라면 실제 벤치마크 결과 공개해야 믿을 수 있을 거 같아요. 엔비디아 지원 받는다고 해도 너무 뻥튀기 한 것 같은데...
Ну и новость... 100-кратное ускорение обучения ИИ оказалось банальным раздуванием фактов. Опять стартапы пытаются впечатлить инвесторов громкими заявлениями, а по факту — обычный маркетинг 🤦♂️. NVIDIA, вы же умнее, как можно вестись на такие сказки?
Whoa, Sakana AI's 100x speed claim sounded too good to be true, and guess what? It was! 😅 Kinda reminds me of those overhyped tech demos that crash and burn. Hope they sort out the bugs soon!





Hogar






