AI em escala RUBEURO QUINTADO POR ESPECIALIZADOS

# research # scaling

Houve algum burburinho nas mídias sociais sobre pesquisadores descobrindo uma nova "lei de escala" da IA, mas os especialistas estão levando isso com um grão de sal. As leis de escala de IA, que são mais como diretrizes informais, mostram como os modelos de IA melhoram ao lançar mais dados e poder de computação neles. Até cerca de um ano atrás, a grande tendência era sobre "pré-treinamento"-basicamente, treinando modelos maiores em conjuntos de dados maiores. Isso ainda é uma coisa, mas agora temos mais duas leis de escala na mistura: escala pós-treinamento, que trata de ajustar o comportamento de um modelo e o escala no tempo de teste, o que envolve o uso de mais poder de computação durante a inferência para aumentar os recursos de "raciocínio" de um modelo (pense em modelos como R1). Recentemente, pesquisadores do Google e da UC Berkeley abandonaram um artigo que algumas pessoas on-line estão chamando uma quarta lei: "Pesquisa em tempo de inferência". Este método tem o modelo cuspindo várias respostas possíveis para uma consulta ao mesmo tempo e depois escolhe a melhor. Os pesquisadores afirmam que ele pode superar o desempenho de um modelo mais antigo, como o Gemini 1.5 Pro do Google, para vencer o modelo de "raciocínio" do OpenAI-PREVEIGE em ciência e matemática. Eric Zhao, um pesquisador de doutorado do Google e um dos co-autores do artigo, compartilhou em X que apenas amostrando aleatoriamente 200 respostas e deixando o modelo se auto-verificando, Gemini 1.5-que ele chamou de "modelo antigo de 2024"-poderia superar a previsão de O1 e até se aproximar de O1. Ele ressaltou que a auto-verificação fica mais fácil à medida que você aumenta, o que é meio contra-intuitivo, mas legal. Mas nem todo mundo está convencido. Matthew Guzdial, pesquisador de IA e professor assistente da Universidade de Alberta, disse ao TechCrunch que essa abordagem funciona melhor quando você tem uma maneira sólida de julgar as respostas. A maioria das perguntas não é tão direta, no entanto. Ele disse: "Se não podemos escrever código para definir o que queremos, não podemos usar a pesquisa [em tempo de inferência]. Por algo como a interação geral da linguagem, não podemos fazer isso ... geralmente não é uma ótima abordagem para realmente resolver a maioria dos problemas". Zhao respondeu, dizendo que o artigo deles realmente analisa os casos em que você não tem uma maneira clara de julgar as respostas, e o modelo precisa descobrir por conta própria. Ele argumentou que a lacuna entre ter uma maneira clara de julgar e não ter uma pode encolher à medida que você aumenta. Mike Cook, pesquisador do King's College London, apoiou a visão de Guzdial, dizendo que a pesquisa em tempo de inferência não torna o raciocínio do modelo melhor. É mais como uma solução alternativa para a tendência do modelo de cometer erros confiantes. Ele apontou que, se o seu modelo atrapalhar 5% das vezes, verificando 200 tentativas deve facilitar a localização desses erros. Essa notícia pode ser um pouco deprimente para a indústria de IA, que está sempre em busca de maneiras de aumentar o modelo de "raciocínio" sem gastar muito. Como os autores do artigo observaram, os modelos de raciocínio podem acumular milhares de dólares em custos de computação apenas para resolver um problema de matemática. Parece que a busca por novas técnicas de escala está longe de terminar. *Atualizado 20/20 5:12 Pacífico: Adicionado comentários do co-autor do estudo, Eric Zhao, que discute uma avaliação de um pesquisador independente que criticou o trabalho.*

Artigo relacionado

Comentários (35)