AI em escala RUBEURO QUINTADO POR ESPECIALIZADOS

Houve algum alvoroço nas redes sociais sobre pesquisadores descobrindo uma nova "lei de escalonamento" de IA, mas os especialistas estão recebendo isso com certa cautela. As leis de escalonamento de IA, que são mais como diretrizes informais, mostram como os modelos de IA melhoram à medida que você adiciona mais dados e poder computacional. Até cerca de um ano atrás, a grande tendência era toda sobre "pré-treinamento" – basicamente, treinar modelos maiores com conjuntos de dados maiores. Isso ainda é relevante, mas agora temos mais duas leis de escalonamento na mistura: escalonamento pós-treinamento, que se concentra em ajustar o comportamento de um modelo, e escalonamento em tempo de teste, que envolve usar mais poder computacional durante a inferência para impulsionar as capacidades de "raciocínio" de um modelo (pense em modelos como R1).

Recentemente, pesquisadores do Google e da UC Berkeley publicaram um artigo que algumas pessoas online estão chamando de quarta lei: "busca em tempo de inferência". Esse método faz o modelo gerar várias respostas possíveis para uma consulta ao mesmo tempo e depois escolher a melhor. Os pesquisadores afirmam que isso pode melhorar o desempenho de um modelo mais antigo, como o Gemini 1.5 Pro do Google, para superar o modelo de "raciocínio" o1-preview da OpenAI em benchmarks de ciência e matemática.

Eric Zhao, doutorando do Google e um dos coautores do artigo, compartilhou no X que, ao amostrar aleatoriamente 200 respostas e permitir que o modelo se auto-verifique, o Gemini 1.5 – que ele chamou, brincando, de "modelo antigo do início de 2024" – poderia superar o o1-preview e até se aproximar do o1. Ele destacou que a auto-verificação fica mais fácil à medida que você escala, o que é meio contraintuitivo, mas interessante.

Mas nem todos estão convencidos. Matthew Guzdial, pesquisador de IA e professor assistente na Universidade de Alberta, disse ao TechCrunch que essa abordagem funciona melhor quando você tem uma maneira sólida de julgar as respostas. A maioria das perguntas, no entanto, não é tão direta. Ele disse: "Se não podemos escrever código para definir o que queremos, não podemos usar a busca [em tempo de inferência]. Para algo como interação geral de linguagem, não podemos fazer isso... Geralmente, não é uma boa abordagem para realmente resolver a maioria dos problemas."

Zhao respondeu, dizendo que o artigo deles realmente analisa casos em que não há uma maneira clara de julgar as respostas, e o modelo precisa descobrir isso sozinho. Ele argumentou que a diferença entre ter uma maneira clara de julgar e não ter uma pode diminuir à medida que você escala.

Mike Cook, pesquisador da King's College London, apoiou a visão de Guzdial, dizendo que a busca em tempo de inferência não melhora realmente o raciocínio do modelo. É mais como uma solução alternativa para a tendência do modelo de cometer erros confiantes. Ele destacou que, se o seu modelo erra 5% das vezes, verificar 200 tentativas deve facilitar a identificação desses erros.

Essa notícia pode ser um pouco desanimadora para a indústria de IA, que está sempre em busca de maneiras de melhorar o "raciocínio" dos modelos sem gastar muito. Como os autores do artigo observaram, modelos de raciocínio podem acumular milhares de dólares em custos computacionais apenas para resolver um problema de matemática.

Parece que a busca por novas técnicas de escalonamento está longe de terminar.

Atualizado em 20/03 às 5:12 da manhã, horário do Pacífico: Adicionados comentários do coautor do estudo, Eric Zhao, que discorda de uma avaliação feita por um pesquisador independente que criticou o trabalho.