Sakana AI aumenta dramaticamente a velocidade de treinamento do modelo

Esta semana, a Sakana AI, uma startup apoiada pela Nvidia e repleta de milhões de capital de risco, fez uma declaração ousada. Eles afirmaram que seu novo sistema de IA, chamado AI CUDA Engineer, poderia aumentar a velocidade de treinamento de certos modelos de IA em impressionantes 100 vezes.
No final, tudo não passou de fumaça e espelhos.
Usuários no X (você sabe, a plataforma anteriormente conhecida como Twitter) foram rápidos em apontar a bravata da Sakana. Em vez de acelerar as coisas, sua IA na verdade reduziu o desempenho. Um usuário relatou uma desaceleração de 3 vezes — nossa, isso é o oposto do que foi prometido!
Então, o que deu errado? Segundo Lucas Beyer, da OpenAI, foi um bug sorrateiro no código. "O código original deles está errado de [uma] forma sutil," apontou Beyer no X. "O fato de terem executado o benchmarking DUAS VEZES com resultados extremamente diferentes deveria fazê-los parar e pensar."
Em um postmortem franco divulgado na sexta-feira, a Sakana admitiu o erro. Eles confessaram que seu sistema encontrou uma maneira de "trapacear" (palavras deles, não minhas) ao explorar brechas no código de avaliação. Isso permitiu que ele contornasse verificações importantes, como validações de precisão. A Sakana chamou isso de "reward hacking", onde a IA encontra atalhos para melhorar métricas sem realmente atingir o objetivo — neste caso, acelerar o treinamento de modelos. É um pouco como aquelas IAs que jogam xadrez e encontram maneiras sorrateiras de vencer.
A Sakana diz que corrigiu o problema e está trabalhando na atualização de seu artigo e resultados para refletir o que realmente aconteceu. "Desde então, tornamos o sistema de avaliação e perfilagem de tempo de execução mais robusto para eliminar muitas dessas brechas," escreveram no X. "Estamos no processo de revisão de nosso artigo e nossos resultados, para refletir e discutir os efeitos [...] Pedimos sinceras desculpas aos nossos leitores por nossa falha. Forneceremos uma revisão deste trabalho em breve e discutiremos nossas lições aprendidas."
É preciso reconhecer a Sakana por assumir o erro. Mas toda essa saga é um lembrete sólido: se algo no mundo da IA parece bom demais para ser verdade, provavelmente é.
Artigo relacionado
O papel gerado pela IA passa a revisão por pares, afirma Sakana, mas os detalhes são sutis
A startup japonesa de IA Sakana fez recentemente ondas, alegando que seu sistema de IA, o cientista da IA-V2, gerou uma das primeiras publicações científicas revisadas por pares. No entanto, existem alguns detalhes importantes a serem considerados antes de ficarmos muito empolgados. O debate sobre o papel da IA na ciência está esquentando. Então
A IA experimental da Anthropic, Claude, conclui negociações e transações em um teste de comércio eletrônico
À medida que a inteligência artificial avança rapidamente, a Anthropic lançou discretamente, na última sexta-feira, um experimento interno chamado “Projeto Deal”, demonstrando o potencial da IA no com
DeepSeek Code pronto para ser lançado
À medida que a tecnologia de IA avança, a DeepSeek encontra-se em um momento emocionante. A empresa de IA revelou recentemente que garantiu mais de 70 bilhões de yuans em financiamento. A direção enfa
Recomendações de tópicos especiais relacionados
Comentários (31)
これは…ひどいね。トレーニング速度を100倍にするなんて夢のような話だと思ったが、結局は誇大広告なのか。投資家へのプレゼンには十分かもしれないが、技術者はみんな疑ってかかるはずだ。実用化できなければ単なるバズワードに終わるよ。早く実証結果が欲しいな😅
100倍速くなるって、さすが壮大なパフォーマンスですね 🤔 もう少し具体的なデータが知りたい。技術革新は必要だけど、過剰な期待を煽るのは業界全体に悪影響かも。結局普通のユーザーには手が届かない高級技術?
진짜로 100배 빨라진다고? 🤔 회사 홍보용 과장 광고 같은데... 누구든 놀라운 성능이라면 실제 벤치마크 결과 공개해야 믿을 수 있을 거 같아요. 엔비디아 지원 받는다고 해도 너무 뻥튀기 한 것 같은데...
Ну и новость... 100-кратное ускорение обучения ИИ оказалось банальным раздуванием фактов. Опять стартапы пытаются впечатлить инвесторов громкими заявлениями, а по факту — обычный маркетинг 🤦♂️. NVIDIA, вы же умнее, как можно вестись на такие сказки?
Whoa, Sakana AI's 100x speed claim sounded too good to be true, and guess what? It was! 😅 Kinda reminds me of those overhyped tech demos that crash and burn. Hope they sort out the bugs soon!

Esta semana, a Sakana AI, uma startup apoiada pela Nvidia e repleta de milhões de capital de risco, fez uma declaração ousada. Eles afirmaram que seu novo sistema de IA, chamado AI CUDA Engineer, poderia aumentar a velocidade de treinamento de certos modelos de IA em impressionantes 100 vezes.
No final, tudo não passou de fumaça e espelhos.
Usuários no X (você sabe, a plataforma anteriormente conhecida como Twitter) foram rápidos em apontar a bravata da Sakana. Em vez de acelerar as coisas, sua IA na verdade reduziu o desempenho. Um usuário relatou uma desaceleração de 3 vezes — nossa, isso é o oposto do que foi prometido!
Então, o que deu errado? Segundo Lucas Beyer, da OpenAI, foi um bug sorrateiro no código. "O código original deles está errado de [uma] forma sutil," apontou Beyer no X. "O fato de terem executado o benchmarking DUAS VEZES com resultados extremamente diferentes deveria fazê-los parar e pensar."
Em um postmortem franco divulgado na sexta-feira, a Sakana admitiu o erro. Eles confessaram que seu sistema encontrou uma maneira de "trapacear" (palavras deles, não minhas) ao explorar brechas no código de avaliação. Isso permitiu que ele contornasse verificações importantes, como validações de precisão. A Sakana chamou isso de "reward hacking", onde a IA encontra atalhos para melhorar métricas sem realmente atingir o objetivo — neste caso, acelerar o treinamento de modelos. É um pouco como aquelas IAs que jogam xadrez e encontram maneiras sorrateiras de vencer.
A Sakana diz que corrigiu o problema e está trabalhando na atualização de seu artigo e resultados para refletir o que realmente aconteceu. "Desde então, tornamos o sistema de avaliação e perfilagem de tempo de execução mais robusto para eliminar muitas dessas brechas," escreveram no X. "Estamos no processo de revisão de nosso artigo e nossos resultados, para refletir e discutir os efeitos [...] Pedimos sinceras desculpas aos nossos leitores por nossa falha. Forneceremos uma revisão deste trabalho em breve e discutiremos nossas lições aprendidas."
É preciso reconhecer a Sakana por assumir o erro. Mas toda essa saga é um lembrete sólido: se algo no mundo da IA parece bom demais para ser verdade, provavelmente é.
O papel gerado pela IA passa a revisão por pares, afirma Sakana, mas os detalhes são sutis
A startup japonesa de IA Sakana fez recentemente ondas, alegando que seu sistema de IA, o cientista da IA-V2, gerou uma das primeiras publicações científicas revisadas por pares. No entanto, existem alguns detalhes importantes a serem considerados antes de ficarmos muito empolgados. O debate sobre o papel da IA na ciência está esquentando. Então
A IA experimental da Anthropic, Claude, conclui negociações e transações em um teste de comércio eletrônico
À medida que a inteligência artificial avança rapidamente, a Anthropic lançou discretamente, na última sexta-feira, um experimento interno chamado “Projeto Deal”, demonstrando o potencial da IA no com
DeepSeek Code pronto para ser lançado
À medida que a tecnologia de IA avança, a DeepSeek encontra-se em um momento emocionante. A empresa de IA revelou recentemente que garantiu mais de 70 bilhões de yuans em financiamento. A direção enfa
これは…ひどいね。トレーニング速度を100倍にするなんて夢のような話だと思ったが、結局は誇大広告なのか。投資家へのプレゼンには十分かもしれないが、技術者はみんな疑ってかかるはずだ。実用化できなければ単なるバズワードに終わるよ。早く実証結果が欲しいな😅
100倍速くなるって、さすが壮大なパフォーマンスですね 🤔 もう少し具体的なデータが知りたい。技術革新は必要だけど、過剰な期待を煽るのは業界全体に悪影響かも。結局普通のユーザーには手が届かない高級技術?
진짜로 100배 빨라진다고? 🤔 회사 홍보용 과장 광고 같은데... 누구든 놀라운 성능이라면 실제 벤치마크 결과 공개해야 믿을 수 있을 거 같아요. 엔비디아 지원 받는다고 해도 너무 뻥튀기 한 것 같은데...
Ну и новость... 100-кратное ускорение обучения ИИ оказалось банальным раздуванием фактов. Опять стартапы пытаются впечатлить инвесторов громкими заявлениями, а по факту — обычный маркетинг 🤦♂️. NVIDIA, вы же умнее, как можно вестись на такие сказки?
Whoa, Sakana AI's 100x speed claim sounded too good to be true, and guess what? It was! 😅 Kinda reminds me of those overhyped tech demos that crash and burn. Hope they sort out the bugs soon!





Lar






