AI em escala RUBEURO QUINTADO POR ESPECIALIZADOS

Houve algum alvoroço nas redes sociais sobre pesquisadores descobrindo uma nova "lei de escalonamento" de IA, mas os especialistas estão recebendo isso com certa cautela. As leis de escalonamento de IA, que são mais como diretrizes informais, mostram como os modelos de IA melhoram à medida que você adiciona mais dados e poder computacional. Até cerca de um ano atrás, a grande tendência era toda sobre "pré-treinamento" – basicamente, treinar modelos maiores com conjuntos de dados maiores. Isso ainda é relevante, mas agora temos mais duas leis de escalonamento na mistura: escalonamento pós-treinamento, que se concentra em ajustar o comportamento de um modelo, e escalonamento em tempo de teste, que envolve usar mais poder computacional durante a inferência para impulsionar as capacidades de "raciocínio" de um modelo (pense em modelos como R1).
Recentemente, pesquisadores do Google e da UC Berkeley publicaram um artigo que algumas pessoas online estão chamando de quarta lei: "busca em tempo de inferência". Esse método faz o modelo gerar várias respostas possíveis para uma consulta ao mesmo tempo e depois escolher a melhor. Os pesquisadores afirmam que isso pode melhorar o desempenho de um modelo mais antigo, como o Gemini 1.5 Pro do Google, para superar o modelo de "raciocínio" o1-preview da OpenAI em benchmarks de ciência e matemática.
Eric Zhao, doutorando do Google e um dos coautores do artigo, compartilhou no X que, ao amostrar aleatoriamente 200 respostas e permitir que o modelo se auto-verifique, o Gemini 1.5 – que ele chamou, brincando, de "modelo antigo do início de 2024" – poderia superar o o1-preview e até se aproximar do o1. Ele destacou que a auto-verificação fica mais fácil à medida que você escala, o que é meio contraintuitivo, mas interessante.
Mas nem todos estão convencidos. Matthew Guzdial, pesquisador de IA e professor assistente na Universidade de Alberta, disse ao TechCrunch que essa abordagem funciona melhor quando você tem uma maneira sólida de julgar as respostas. A maioria das perguntas, no entanto, não é tão direta. Ele disse: "Se não podemos escrever código para definir o que queremos, não podemos usar a busca [em tempo de inferência]. Para algo como interação geral de linguagem, não podemos fazer isso... Geralmente, não é uma boa abordagem para realmente resolver a maioria dos problemas."
Zhao respondeu, dizendo que o artigo deles realmente analisa casos em que não há uma maneira clara de julgar as respostas, e o modelo precisa descobrir isso sozinho. Ele argumentou que a diferença entre ter uma maneira clara de julgar e não ter uma pode diminuir à medida que você escala.
Mike Cook, pesquisador da King's College London, apoiou a visão de Guzdial, dizendo que a busca em tempo de inferência não melhora realmente o raciocínio do modelo. É mais como uma solução alternativa para a tendência do modelo de cometer erros confiantes. Ele destacou que, se o seu modelo erra 5% das vezes, verificar 200 tentativas deve facilitar a identificação desses erros.
Essa notícia pode ser um pouco desanimadora para a indústria de IA, que está sempre em busca de maneiras de melhorar o "raciocínio" dos modelos sem gastar muito. Como os autores do artigo observaram, modelos de raciocínio podem acumular milhares de dólares em custos computacionais apenas para resolver um problema de matemática.
Parece que a busca por novas técnicas de escalonamento está longe de terminar.
Atualizado em 20/03 às 5:12 da manhã, horário do Pacífico: Adicionados comentários do coautor do estudo, Eric Zhao, que discorda de uma avaliação feita por um pesquisador independente que criticou o trabalho.
Artigo relacionado
A Bayer utiliza a Iambic AI para acelerar a descoberta de medicamentos
O Dr. Juergen Eckhardt atua como chefe de Desenvolvimento de Negócios e Licenciamento da Bayer Pharmaceuticals.A Bayer está aproveitando a Iambic Therapeutics para implementar modelos de IA de ponta n
A IA orientada para a otimização surge como um novo caminho para modelos de uso geral
Pesquisadores da Universidade de Illinois Urbana-Champaign e da Universidade da Virgínia criaram uma nova arquitetura de modelo que pode abrir caminho para sistemas de IA mais resilientes com maior ca
O boom da IA ecoa as preocupações com a bolha da era das pontocom
O influxo de investimentos multimilionários em IA alimentou um debate acalorado: o setor está caminhando para uma bolha semelhante à das empresas ponto com?Os investidores estão atentos a qualquer arr
Recomendações de tópicos especiais relacionados
Comentários (37)
I heard there's a new AI scaling law discovered, but experts are skeptical? It feels like another case of hype overshadowing reality—maybe we should wait for solid experiments before jumping to conclusions. 😅
Interessant, aber ich bin skeptisch. Diese 'Skalierungsgesetze' klingen oft nach einer selbsterfüllenden Prophezeiung der großen Tech-Firmen. Mehr Daten, mehr Rechenleistung – klar wird das Modell 'besser', aber zu welchem Preis? Die Umweltkosten sind enorm, und am Ende bekommen wir vielleicht nur bessere Halluzinationen. Die Experten haben recht, vorsichtig zu sein. 🤔
This AI scaling law thing sounds cool, but it's hard to get excited when experts are so skeptical. It's like they're saying, 'Sure, it's interesting, but let's not get carried away.' I guess we'll see if it's the real deal or just another hype train. 🤔
Essa história de lei de escalabilidade de IA parece legal, mas é difícil se empolgar quando os especialistas são tão céticos. Parece que eles estão dizendo, 'Sim, é interessante, mas não vamos nos empolgar muito'. Vamos ver se é verdade ou só mais um hype. 🤔

Houve algum alvoroço nas redes sociais sobre pesquisadores descobrindo uma nova "lei de escalonamento" de IA, mas os especialistas estão recebendo isso com certa cautela. As leis de escalonamento de IA, que são mais como diretrizes informais, mostram como os modelos de IA melhoram à medida que você adiciona mais dados e poder computacional. Até cerca de um ano atrás, a grande tendência era toda sobre "pré-treinamento" – basicamente, treinar modelos maiores com conjuntos de dados maiores. Isso ainda é relevante, mas agora temos mais duas leis de escalonamento na mistura: escalonamento pós-treinamento, que se concentra em ajustar o comportamento de um modelo, e escalonamento em tempo de teste, que envolve usar mais poder computacional durante a inferência para impulsionar as capacidades de "raciocínio" de um modelo (pense em modelos como R1).
Recentemente, pesquisadores do Google e da UC Berkeley publicaram um artigo que algumas pessoas online estão chamando de quarta lei: "busca em tempo de inferência". Esse método faz o modelo gerar várias respostas possíveis para uma consulta ao mesmo tempo e depois escolher a melhor. Os pesquisadores afirmam que isso pode melhorar o desempenho de um modelo mais antigo, como o Gemini 1.5 Pro do Google, para superar o modelo de "raciocínio" o1-preview da OpenAI em benchmarks de ciência e matemática.
Eric Zhao, doutorando do Google e um dos coautores do artigo, compartilhou no X que, ao amostrar aleatoriamente 200 respostas e permitir que o modelo se auto-verifique, o Gemini 1.5 – que ele chamou, brincando, de "modelo antigo do início de 2024" – poderia superar o o1-preview e até se aproximar do o1. Ele destacou que a auto-verificação fica mais fácil à medida que você escala, o que é meio contraintuitivo, mas interessante.
Mas nem todos estão convencidos. Matthew Guzdial, pesquisador de IA e professor assistente na Universidade de Alberta, disse ao TechCrunch que essa abordagem funciona melhor quando você tem uma maneira sólida de julgar as respostas. A maioria das perguntas, no entanto, não é tão direta. Ele disse: "Se não podemos escrever código para definir o que queremos, não podemos usar a busca [em tempo de inferência]. Para algo como interação geral de linguagem, não podemos fazer isso... Geralmente, não é uma boa abordagem para realmente resolver a maioria dos problemas."
Zhao respondeu, dizendo que o artigo deles realmente analisa casos em que não há uma maneira clara de julgar as respostas, e o modelo precisa descobrir isso sozinho. Ele argumentou que a diferença entre ter uma maneira clara de julgar e não ter uma pode diminuir à medida que você escala.
Mike Cook, pesquisador da King's College London, apoiou a visão de Guzdial, dizendo que a busca em tempo de inferência não melhora realmente o raciocínio do modelo. É mais como uma solução alternativa para a tendência do modelo de cometer erros confiantes. Ele destacou que, se o seu modelo erra 5% das vezes, verificar 200 tentativas deve facilitar a identificação desses erros.
Essa notícia pode ser um pouco desanimadora para a indústria de IA, que está sempre em busca de maneiras de melhorar o "raciocínio" dos modelos sem gastar muito. Como os autores do artigo observaram, modelos de raciocínio podem acumular milhares de dólares em custos computacionais apenas para resolver um problema de matemática.
Parece que a busca por novas técnicas de escalonamento está longe de terminar.
Atualizado em 20/03 às 5:12 da manhã, horário do Pacífico: Adicionados comentários do coautor do estudo, Eric Zhao, que discorda de uma avaliação feita por um pesquisador independente que criticou o trabalho.
A Bayer utiliza a Iambic AI para acelerar a descoberta de medicamentos
O Dr. Juergen Eckhardt atua como chefe de Desenvolvimento de Negócios e Licenciamento da Bayer Pharmaceuticals.A Bayer está aproveitando a Iambic Therapeutics para implementar modelos de IA de ponta n
A IA orientada para a otimização surge como um novo caminho para modelos de uso geral
Pesquisadores da Universidade de Illinois Urbana-Champaign e da Universidade da Virgínia criaram uma nova arquitetura de modelo que pode abrir caminho para sistemas de IA mais resilientes com maior ca
O boom da IA ecoa as preocupações com a bolha da era das pontocom
O influxo de investimentos multimilionários em IA alimentou um debate acalorado: o setor está caminhando para uma bolha semelhante à das empresas ponto com?Os investidores estão atentos a qualquer arr
I heard there's a new AI scaling law discovered, but experts are skeptical? It feels like another case of hype overshadowing reality—maybe we should wait for solid experiments before jumping to conclusions. 😅
Interessant, aber ich bin skeptisch. Diese 'Skalierungsgesetze' klingen oft nach einer selbsterfüllenden Prophezeiung der großen Tech-Firmen. Mehr Daten, mehr Rechenleistung – klar wird das Modell 'besser', aber zu welchem Preis? Die Umweltkosten sind enorm, und am Ende bekommen wir vielleicht nur bessere Halluzinationen. Die Experten haben recht, vorsichtig zu sein. 🤔
This AI scaling law thing sounds cool, but it's hard to get excited when experts are so skeptical. It's like they're saying, 'Sure, it's interesting, but let's not get carried away.' I guess we'll see if it's the real deal or just another hype train. 🤔
Essa história de lei de escalabilidade de IA parece legal, mas é difícil se empolgar quando os especialistas são tão céticos. Parece que eles estão dizendo, 'Sim, é interessante, mas não vamos nos empolgar muito'. Vamos ver se é verdade ou só mais um hype. 🤔





Lar






