A IA cresceu além do conhecimento humano, diz a unidade DeepMind do Google

Avançando a IA além dos testes tradicionais: a ascensão do aprendizado experimental

O campo da inteligência artificial (IA) está zumbindo com os esforços para empurrar a IA generativa além dos limites dos benchmarks tradicionais, como o teste de Turing, que muitos modelos já superaram. O foco agora muda para o desenvolvimento da IA ​​que não foi projetada apenas para aceitar esses testes, mas para evoluir através de um processo mais dinâmico.

Pesquisadores do DeepMind do Google, incluindo lendas como David Silver e Richard Sutton, argumentam em seu artigo bem -vindo à era da experiência que a chave para desbloquear novos recursos de IA está nos testes, mas na maneira como a IA é treinada. Eles sugerem que os conjuntos de dados estáticos utilizados atualmente são muito limitados para promover avanços significativos.

A solução deles? A IA precisa se envolver com o mundo de uma maneira mais experimental, aprendendo com interações e estabelecendo metas com base no feedback ambiental. "Novos recursos incríveis surgirão assim que o potencial total do aprendizado experimental for aproveitado", afirmam eles. Silver, conhecido por seu trabalho em Alphazero, que superou os seres humanos no Chess and Go, e Sutton, pioneiro no aprendizado de reforço, propõe uma nova abordagem chamada "fluxos" para transcender as limitações dos atuais modelos de linguagem grande (LLMS).

Do aprendizado de reforço à IA generativa: uma mudança e suas consequências

Após os sucessos de Alphazero e Alphago, a comunidade de IA viu uma mudança para modelos generativos de IA como o ChatGPT, que se afastaram em grande parte do aprendizado de reforço. Embora isso tenha permitido que a IA lidasse com uma gama mais ampla de insumos humanos espontâneos, também significava perder o aspecto de autodescoberta que o aprendizado de reforço permitiu.

De acordo com Silver e Sutton, os LLMs atuais dependem muito do julgamento humano na fase imediata, o que limita seu potencial. "O agente não pode descobrir melhores estratégias subestimadas pelo avaliador humano", explicam eles. Além disso, a natureza curta e cortada das interações imediatas não permite que a IA se desenvolva além das trocas simples de perguntas e respostas.

Apresentando fluxos: um novo paradigma para aprendizado de IA

A "idade da experiência" proposta envolve agentes de IA operando em "fluxos" de interação contínua, assim como os humanos aprendem ao longo da vida. Silver e Sutton imaginam agentes da IA ​​com seus próprios fluxos de experiência de longo prazo, permitindo que eles busquem objetivos além das tarefas imediatas.

Essa abordagem se baseia no aprendizado de reforço, onde os agentes de IA interagem com um modelo do mundo, recebendo feedback na forma de recompensas. Essas recompensas ajudam a IA a aprender quais ações são valiosas em diferentes contextos. Os pesquisadores apontam que o mundo é rico em sinais que podem servir como recompensas, desde indicadores econômicos até métricas de saúde.

Construindo agentes de IA com metas de longo prazo

Para iniciar esse processo, os desenvolvedores de IA podem usar uma simulação de "modelo mundial", permitindo que a IA faça previsões, testá -las na realidade e refinar seu modelo com base nos resultados. À medida que a IA continua a interagir com o mundo, seu entendimento evolui, adaptando -se a novos dados e corrigindo erros.

Os seres humanos ainda desempenhariam um papel na definição de objetivos amplos, como melhorar a aptidão ou aprender um novo idioma, com a função de recompensa da IA ​​alinhada a esses objetivos. Essa configuração pode levar a assistentes de IA que acompanham e aconselham sobre saúde ou educação por períodos prolongados, ou até perseguir objetivos científicos ambiciosos, como descobrir novos materiais ou reduzir as emissões de carbono.

O futuro da IA: além do raciocínio para o aprendizado experimental

Os pesquisadores acreditam que os agentes de IA capazes de aprendizado experimental de longo prazo podem superar os modelos atuais de "raciocínio" de IA, como Gemini e Deepseek, R1. Eles argumentam que os modelos de raciocínio geralmente imitam o pensamento humano, que pode ser limitado por suposições desatualizadas. Por outro lado, os agentes experimentais podem desbloquear recursos sem precedentes, levando a um futuro muito diferente do que vimos.

No entanto, essa mudança também traz riscos, como deslocamento de emprego e o desafio de controlar os agentes de IA que podem operar autonomamente por longos períodos. Por outro lado, a IA adaptável pode aprender a mitigar os impactos negativos nos seres humanos, ajustando seu comportamento com base no feedback.

Silver e Sutton estão confiantes de que os dados experimentais superarão em muito a escala e a qualidade dos dados gerados pelo ser humano, levando potencialmente à inteligência geral artificial ou à super inteligência. Essa mudança de paradigma, juntamente com os avanços na aprendizagem de reforço, poderia desbloquear novos recursos além do alcance humano em muitos domínios.

Silver discutiu ainda mais essas idéias em um recente podcast DeepMind, destacando o potencial e os desafios da mudança de IA para a era da experiência.