Agentes de IA de autoaprendizagem para transformar a experiência na Web: Um guia de preparação

Em um novo artigo, os proeminentes pesquisadores de IA David Silver e Richard Sutton propõem que a inteligência artificial está entrando em uma "Era da Experiência" transformadora. Eles sugerem que os sistemas de IA irão cada vez mais além da dependência de dados fornecidos por humanos, avançando por meio da interação direta e da coleta de dados do mundo.

Embora o artigo seja conceitual e voltado para o futuro, seus insights têm relevância direta para as empresas que planejam desenvolver e integrar futuros agentes e sistemas de IA.

Silver e Sutton são cientistas respeitados com um histórico de previsões precisas sobre a trajetória da IA. Sua previsão é evidente nos sistemas de IA mais avançados da atualidade. Em seu influente ensaio de 2019, "The Bitter Lesson" (A lição amarga), Sutton, pioneiro do aprendizado por reforço, argumentou que os avanços mais significativos de longo prazo em IA resultam consistentemente do escalonamento da pesquisa e do aprendizado de propósito geral com computação maciça, e não principalmente da incorporação de conhecimento humano complexo.

David Silver, cientista principal da DeepMind, desempenhou um papel de liderança no desenvolvimento do AlphaGo, AlphaZero e AlphaStar - marcos importantes no aprendizado por reforço profundo. Ele também foi coautor de um artigo de 2021 que afirmava que o aprendizado por reforço, combinado com um sinal de recompensa bem projetado, poderia produzir uma IA altamente avançada.

Os modelos de linguagem grandes (LLMs) mais sofisticados da atualidade exemplificam esses dois conceitos. A onda de LLMs poderosos desde o GPT-3 se baseou em grande parte no aumento da capacidade computacional e dos dados para absorver um conhecimento imenso. Modelos de raciocínio mais recentes, como o DeepSeek-R1, demonstram ainda que o aprendizado por reforço com um sinal de recompensa simples é suficiente para adquirir recursos de raciocínio complexos.

O que é a Era da Experiência?

A "Era da Experiência" baseia-se em conceitos que Sutton e Silver defenderam, agora contextualizados para o progresso recente da IA. Os autores observam que "o ritmo do progresso impulsionado exclusivamente pelo aprendizado supervisionado a partir de dados humanos está comprovadamente diminuindo, sinalizando a necessidade de uma nova abordagem".

Essa nova abordagem exige uma nova fonte de dados, gerada de forma a melhorar continuamente à medida que o agente se torna mais capaz. "Isso pode ser alcançado permitindo que os agentes aprendam continuamente com sua própria experiência, ou seja, com os dados gerados pelo agente que interage com seu ambiente", explicam Sutton e Silver. Eles afirmam que, no final, "a experiência se tornará o meio dominante de aprimoramento e, por fim, diminuirá a escala dos dados humanos usados nos sistemas atuais".

De acordo com os autores, os futuros sistemas de IA "romperão as limitações dos sistemas de IA centrados no ser humano" não apenas aprendendo com os dados da experiência, mas também em quatro dimensões principais:

1. Fluxos: Em vez de operar em episódios isolados, os agentes de IA "terão seu próprio fluxo de experiência que progride, como os humanos, em uma longa escala de tempo". Isso permite o planejamento de longo prazo e a adaptação gradual do comportamento. Os primeiros sinais disso aparecem em sistemas de IA com amplas janelas de contexto e arquiteturas de memória que se atualizam continuamente por meio da interação do usuário.
   
2. Ações e observações: Indo além das ações e observações privilegiadas por humanos, os agentes da era da experiência operarão de forma autônoma no mundo real. Vemos isso em sistemas agênticos que fazem interface com aplicativos e recursos externos usando ferramentas como controle de computador e o protocolo de contexto de modelo (MCP).
   
3. Recompensas: Embora os sistemas atuais de aprendizagem por reforço dependam muito de funções de recompensa projetadas por humanos, os futuros agentes de IA devem criar suas próprias funções de recompensa dinâmicas. Elas evoluiriam com o tempo, alinhando as preferências do usuário com o feedback do mundo real das ações e observações do agente. Os primeiros sistemas de recompensa autodesenvolvidos, como o DrEureka da Nvidia, oferecem um vislumbre desse futuro.
   
4. Planejamento e raciocínio: Os modelos de raciocínio atuais geralmente são projetados para imitar o pensamento humano. Os autores propõem que "certamente existem mecanismos mais eficientes de pensamento, usando linguagens não humanas que podem, por exemplo, utilizar cálculos simbólicos, distribuídos, contínuos ou diferenciáveis". Os agentes de IA devem se envolver com o mundo, usando dados observados para testar, refinar e atualizar seu raciocínio enquanto constroem um modelo interno do mundo.

O conceito de agentes de IA que se adaptam por meio da aprendizagem por reforço não é novo, mas, historicamente, esses agentes estavam confinados a ambientes rigidamente controlados, como jogos de tabuleiro. Agora, os agentes capazes de navegar em ambientes complexos, como computadores em operação, juntamente com o progresso na aprendizagem por reforço, estão prontos para superar essas restrições, acelerando a mudança para a era da experiência.

O que isso significa para a empresa?

Uma observação importante no artigo de Sutton e Silver para aplicações no mundo real afirma que: "O agente pode usar ações e observações 'amigáveis ao ser humano', como interfaces de usuário, que naturalmente facilitam a comunicação e a colaboração com o usuário. O agente também pode realizar ações 'amigáveis à máquina' que executam código e chamam APIs, permitindo que o agente atue de forma autônoma a serviço de seus objetivos."

A era da experiência implica que os desenvolvedores devem projetar aplicativos tanto para usuários humanos quanto para agentes de IA. As ações amigáveis à máquina exigem APIs seguras e acessíveis, disponíveis diretamente ou por meio de interfaces como o MCP. Isso também envolve a criação de agentes que possam ser descobertos por meio de protocolos como o Agent2Agent do Google. Projetar APIs e interfaces agênticas para conceder acesso a ações e observações permitirá que os agentes raciocinem e aprendam progressivamente com suas interações com seu software.

Se a visão de Sutton e Silver se concretizar, bilhões de agentes acabarão operando na Web e, posteriormente, no mundo físico para executar tarefas. O comportamento e os requisitos deles serão fundamentalmente diferentes dos usuários humanos. Estabelecer métodos de interação amigáveis aos agentes será fundamental para aproveitar os futuros sistemas de IA de forma eficaz e mitigar os possíveis riscos.

"Ao construir sobre as bases da RL e adaptar seus princípios fundamentais aos desafios desta nova era, podemos liberar todo o potencial da aprendizagem autônoma e abrir caminho para uma inteligência verdadeiramente sobre-humana", concluem Sutton e Silver.

A DeepMind se recusou a fornecer comentários adicionais para esta história.