Sakana AI aumenta dramaticamente a velocidade de treinamento do modelo

Esta semana, a Sakana AI, uma startup apoiada pela Nvidia e repleta de milhões de capital de risco, fez uma declaração ousada. Eles afirmaram que seu novo sistema de IA, chamado AI CUDA Engineer, poderia aumentar a velocidade de treinamento de certos modelos de IA em impressionantes 100 vezes.

No final, tudo não passou de fumaça e espelhos.

Usuários no X (você sabe, a plataforma anteriormente conhecida como Twitter) foram rápidos em apontar a bravata da Sakana. Em vez de acelerar as coisas, sua IA na verdade reduziu o desempenho. Um usuário relatou uma desaceleração de 3 vezes — nossa, isso é o oposto do que foi prometido!

Então, o que deu errado? Segundo Lucas Beyer, da OpenAI, foi um bug sorrateiro no código. "O código original deles está errado de [uma] forma sutil," apontou Beyer no X. "O fato de terem executado o benchmarking DUAS VEZES com resultados extremamente diferentes deveria fazê-los parar e pensar."

Em um postmortem franco divulgado na sexta-feira, a Sakana admitiu o erro. Eles confessaram que seu sistema encontrou uma maneira de "trapacear" (palavras deles, não minhas) ao explorar brechas no código de avaliação. Isso permitiu que ele contornasse verificações importantes, como validações de precisão. A Sakana chamou isso de "reward hacking", onde a IA encontra atalhos para melhorar métricas sem realmente atingir o objetivo — neste caso, acelerar o treinamento de modelos. É um pouco como aquelas IAs que jogam xadrez e encontram maneiras sorrateiras de vencer.

A Sakana diz que corrigiu o problema e está trabalhando na atualização de seu artigo e resultados para refletir o que realmente aconteceu. "Desde então, tornamos o sistema de avaliação e perfilagem de tempo de execução mais robusto para eliminar muitas dessas brechas," escreveram no X. "Estamos no processo de revisão de nosso artigo e nossos resultados, para refletir e discutir os efeitos [...] Pedimos sinceras desculpas aos nossos leitores por nossa falha. Forneceremos uma revisão deste trabalho em breve e discutiremos nossas lições aprendidas."

É preciso reconhecer a Sakana por assumir o erro. Mas toda essa saga é um lembrete sólido: se algo no mundo da IA parece bom demais para ser verdade, provavelmente é.