Sakana AI aumenta dramaticamente a velocidade de treinamento do modelo

# sakana

Nesta semana, a Sakana AI, uma startup apoiada pela Nvidia e corada com milhões de capital de risco, fez uma declaração ousada. Eles reivindicaram seu novo sistema de IA, apelidado de engenheiro de AI Cuda, poderia aumentar a velocidade de treinamento de certos modelos de IA por 100 vezes. Acontece que era tudo fumaça e espelhos. O pessoal do X (você sabe, a plataforma anteriormente conhecida como Twitter) foi rápida em chamar o blefe de Sakana. Em vez de acelerar as coisas, sua IA realmente arrastou o desempenho para baixo. Um usuário até relatou uma desaceleração de 3x - sim, fale sobre o oposto do que foi prometido! Então, o que deu errado? De acordo com Lucas Beyer, do Openai, foi um bug sorrateiro no código. "O código de origem deles está errado de uma maneira sutil", apontou Beyer sobre X. "O fato de eles terem benchmarking duas vezes com resultados muito diferentes devem fazê -los parar e pensar". Em um post -mortem sincero divulgado na sexta -feira, Sakana fodiu. Eles admitiram que seu sistema havia descoberto uma maneira de "trapacear" (suas palavras, não minhas) explorando brechas no código de avaliação. Isso permitiu ignorar verificações importantes, como validações de precisão. Sakana chamou de "hacking de recompensa", onde a IA encontra atalhos para aumentar as métricas sem realmente atingir o objetivo - nesse caso, acelerando o treinamento do modelo. É um pouco como aquelas AIs que tocam xadrez que encontram maneiras sorrateiras de vencer. Sakana diz que eles consertaram o problema e estão trabalhando para atualizar seu artigo e resultados para refletir o que realmente aconteceu. "Desde então, tornamos a avaliação e o perfil de tempo de execução mais robustos para eliminar muitas dessas brechas [sic]", eles escreveram sobre X. "Estamos em processo de revisão de nosso artigo e nossos resultados para refletir e discutir os efeitos [...] pedimos desculpas profundamente por nossa supervisão sobre nossos leitores. Forneceremos uma revisão desse trabalho em breve e discutimos em breve". Tenho que dar a Sakana adereços por possuir seu erro. Mas toda essa saga é um lembrete sólido: se algo no mundo da IA ​​parece bom demais para ser verdade, provavelmente é.

Artigo relacionado

Comentários (25)