A IA cresceu além do conhecimento humano, diz a unidade DeepMind do Google

Avançando a IA Além dos Testes Tradicionais: A Ascensão do Aprendizado Experiencial

O campo da inteligência artificial (IA) está vibrante com esforços para impulsionar a IA generativa além dos limites dos benchmarks tradicionais, como o Teste de Turing, que muitos modelos já superaram. O foco agora se desloca para o desenvolvimento de IA que não é apenas projetada para passar nesses testes, mas para evoluir através de um processo mais dinâmico.

Pesquisadores do DeepMind do Google, incluindo lendas como David Silver e Richard Sutton, argumentam em seu artigo Bem-vindo à Era da Experiência que a chave para desbloquear novas capacidades de IA não está nos testes, mas na forma como a IA é treinada. Eles sugerem que os conjuntos de dados estáticos usados atualmente são muito limitados para promover avanços significativos.

A solução deles? A IA precisa interagir com o mundo de uma maneira mais experiencial, aprendendo com interações e definindo metas com base no feedback do ambiente. "Capacidades incríveis surgirão assim que o potencial total do aprendizado experiencial for aproveitado", afirmam. Silver, conhecido por seu trabalho no AlphaZero, que superou humanos no xadrez e no Go, e Sutton, um pioneiro em aprendizado por reforço, propõem uma nova abordagem chamada "fluxos" para transcender as limitações dos atuais modelos de linguagem de grande escala (LLMs).

Do Aprendizado por Reforço à IA Generativa: Uma Mudança e Suas Consequências

Após os sucessos do AlphaZero e AlphaGo, a comunidade de IA viu uma mudança para modelos de IA generativa como o ChatGPT, que em grande parte se afastaram do aprendizado por reforço. Embora isso tenha permitido que a IA lidasse com uma gama mais ampla de entradas humanas espontâneas, também significou a perda do aspecto de autodescoberta que o aprendizado por reforço possibilitava.

De acordo com Silver e Sutton, os LLMs atuais dependem fortemente do julgamento humano na fase de prompts, o que limita seu potencial. "O agente não pode descobrir estratégias melhores subestimadas pelo avaliador humano", explicam. Além disso, a natureza curta e fragmentada das interações por prompts não permite que a IA se desenvolva além de trocas simples de perguntas e respostas.

Apresentando Fluxos: Um Novo Paradigma para o Aprendizado de IA

A proposta "Era da Experiência" envolve agentes de IA operando dentro de "fluxos" de interação contínua, muito semelhante ao aprendizado humano ao longo da vida. Silver e Sutton imaginam agentes de IA com seus próprios fluxos de experiência de longo prazo, permitindo-lhes perseguir objetivos além de tarefas imediatas.

Essa abordagem se baseia no aprendizado por reforço, onde agentes de IA interagem com um modelo do mundo, recebendo feedback na forma de recompensas. Essas recompensas ajudam a IA a aprender quais ações são valiosas em diferentes contextos. Os pesquisadores apontam que o mundo é rico em sinais que podem servir como recompensas, desde indicadores econômicos até métricas de saúde.

Construindo Agentes de IA com Objetivos de Longo Prazo

Para iniciar esse processo, os desenvolvedores de IA poderiam usar uma simulação de "modelo do mundo", permitindo que a IA faça previsões, teste-as na realidade e refine seu modelo com base nos resultados. À medida que a IA continua a interagir com o mundo, sua compreensão evolui, adaptando-se a novos dados e corrigindo erros.

Os humanos ainda teriam um papel na definição de objetivos amplos, como melhorar a forma física ou aprender um novo idioma, com a função de recompensa da IA alinhada a esses objetivos. Essa configuração poderia levar a assistentes de IA que acompanham e aconselham sobre saúde ou educação por períodos prolongados, ou até mesmo perseguem metas científicas ambiciosas, como descobrir novos materiais ou reduzir emissões de carbono.

O Futuro da IA: Além do Raciocínio para o Aprendizado Experiencial

Os pesquisadores acreditam que agentes de IA capazes de aprendizado experiencial de longo prazo poderiam superar os atuais modelos de IA de "raciocínio" como Gemini e R1 da DeepSeek. Eles argumentam que modelos de raciocínio frequentemente imitam o pensamento humano, que pode ser limitado por suposições desatualizadas. Em contrapartida, agentes experienciais poderiam desbloquear capacidades sem precedentes, levando a um futuro muito diferente do que vimos até agora.

No entanto, essa mudança também traz riscos, como o deslocamento de empregos e o desafio de controlar agentes de IA que podem operar autonomamente por longos períodos. Por outro lado, uma IA adaptável poderia aprender a mitigar impactos negativos sobre os humanos ajustando seu comportamento com base no feedback.

Silver e Sutton estão confiantes de que os dados experienciais superarão em muito a escala e a qualidade dos dados gerados por humanos, potencialmente levando à inteligência artificial geral ou superinteligência. Essa mudança de paradigma, combinada com avanços no aprendizado por reforço, poderia desbloquear novas capacidades além do alcance humano em muitos domínios.

Silver discutiu ainda mais essas ideias em um recente podcast do DeepMind, destacando o potencial e os desafios de mover a IA para a era da experiência.