O GEPA do Google aprimora o desempenho do LLM, contornando as dispendiosas necessidades de aprendizado por reforço

Pesquisadores da UC Berkeley, da Universidade de Stanford e da Databricks apresentaram um novo método de otimização de IA chamado GEPA, que demonstra melhorias notáveis em relação às técnicas tradicionais de aprendizagem por reforço para adaptar grandes modelos de linguagem a tarefas especializadas.

O GEPA se afasta da abordagem convencional de aprendizado por meio de milhares de tentativas de tentativa e erro orientadas por pontuações numéricas simples. Em vez disso, ele usa os recursos internos de linguagem de um LLM para analisar seu desempenho, identificar erros e refinar progressivamente suas instruções. Além de alcançar maior precisão do que os métodos estabelecidos, o GEPA é muito mais eficiente, oferecendo resultados superiores com até 35 vezes menos execuções de tentativas.

Para as empresas que desenvolvem fluxos de trabalho e agentes de IA complexos, esse avanço significa desenvolvimento mais rápido, custos de computação significativamente menores e aplicativos mais avançados e confiáveis.

O alto custo de otimização dos sistemas modernos de IA

Os aplicativos de IA corporativos modernos raramente dependem de uma única chamada para um LLM. Em geral, são "sistemas compostos de IA" - fluxos de trabalho sofisticados que combinam vários módulos de LLM, ferramentas externas, como bancos de dados ou interpretadores de código, e lógica personalizada para executar tarefas complexas, como pesquisa em várias etapas e análise de dados.

Uma estratégia de otimização comum para esses sistemas é o aprendizado por reforço, exemplificado por técnicas como Group Relative Policy Optimization (Otimização de Política Relativa de Grupo) usada em modelos de raciocínio avançado. Esses métodos tratam o sistema de IA como uma caixa preta, avaliando uma tarefa por meio de uma métrica básica de sucesso. Esse feedback limitado é, então, usado para ajustar gradualmente os parâmetros do modelo para melhorar o desempenho.

A principal limitação da RL é sua ineficiência. Para aprender com eficácia a partir de pontuações numéricas mínimas, a RL geralmente requer dezenas ou até centenas de milhares de execuções de teste. Para qualquer aplicativo empresarial do mundo real que envolva chamadas de ferramentas caras ou modelos proprietários, esse processo é proibitivamente lento e caro.

Conforme explicado por Lakshya A Agrawal, coautor e estudante de doutorado da Universidade da Califórnia em Berkeley, essa complexidade representa um grande obstáculo para muitas organizações. "Para muitas equipes, a RL é impraticável devido ao seu custo e complexidade - sua abordagem padrão tem sido, em grande parte, a engenharia manual de prontidão", observou Agrawal. O GEPA foi projetado para equipes que trabalham com modelos de alto desempenho que, muitas vezes, não podem ser ajustados, o que lhes permite melhorar o desempenho sem gerenciar hardware especializado.

A equipe de pesquisa apresenta o desafio da seguinte forma: "Como podemos extrair o máximo de sinal de aprendizado de cada teste dispendioso para permitir a adaptação eficaz de sistemas de IA complexos e modulares sob restrições de dados ou de orçamento?"

Um otimizador que aprende por meio da linguagem

O GEPA aborda esse desafio substituindo sinais de recompensa esparsos por feedback detalhado em linguagem natural. Ele aproveita o fato de que toda a execução de um sistema de IA - suas etapas de raciocínio, chamadas de ferramentas e mensagens de erro - pode ser representada como texto para um LLM processar. Essa metodologia baseia-se em três princípios fundamentais.

O primeiro é a "evolução genética de prompts", em que o GEPA trata um conjunto de prompts como um pool genético, modificando-os iterativamente para gerar versões novas e potencialmente aprimoradas. Esse processo de mutação é orientado pelo segundo princípio: "reflexão com feedback de linguagem natural". Após várias execuções de teste, o GEPA apresenta ao LLM o histórico completo de execução e os resultados. Em seguida, o LLM analisa essas informações para diagnosticar problemas e elaborar um prompt mais preciso e aprimorado. Por exemplo, em vez de apenas receber uma pontuação baixa para a geração de código, ele pode examinar um erro do compilador e determinar que o prompt deve especificar uma versão específica da biblioteca.

O terceiro princípio é a "seleção baseada em Pareto", que promove a exploração inteligente. Em vez de se concentrar apenas no prompt com a pontuação mais alta, o que pode resultar em uma solução abaixo do ideal, o GEPA mantém uma coleção diversificada de prompts especializados. Ele identifica quais prompts se destacam em diferentes casos de teste, compilando uma lista dos principais candidatos. Ao fazer uma amostragem a partir dessa variedade de estratégias bem-sucedidas, a GEPA explora um espaço de solução mais amplo e tem mais chances de descobrir um prompt com bom desempenho em diversas entradas.

O sucesso de todo esse processo depende do que os pesquisadores chamam de "engenharia de feedback". Agrawal enfatiza que a chave é capturar os ricos detalhes textuais que os sistemas já produzem, mas que muitas vezes são ignorados. "Os pipelines convencionais geralmente condensam essas informações em uma única recompensa numérica, ocultando os motivos por trás de resultados específicos", explicou. "A abordagem principal do GEPA é estruturar o feedback que revela não apenas os resultados finais, mas também as etapas intermediárias e os erros em texto simples - a mesma evidência que um especialista humano usaria para analisar o comportamento do sistema."

Por exemplo, para um sistema de recuperação de documentos, isso envolveria listar quais documentos foram recuperados corretamente e quais foram perdidos, em vez de apenas informar uma pontuação final de precisão.

GEPA na prática

A equipe de pesquisa avaliou o GEPA em quatro tarefas distintas, desde a resposta a perguntas em vários locais até consultas com preservação da privacidade. Eles testaram modelos proprietários e de código aberto, comparando o GEPA com o GRPO baseado em RL e o otimizador de prompt avançado MIPROv2.

Em todas as avaliações, o GEPA superou significativamente o GRPO, obtendo uma melhoria de até 19% na pontuação e usando até 35 vezes menos execuções de teste. Agrawal ilustrou essa eficiência com um exemplo específico: "Otimizamos um sistema de resposta a perguntas com o GEPA em cerca de 3 horas, em comparação com as 24 horas do GRPO - uma redução de oito vezes no tempo de desenvolvimento, aliada a um ganho de desempenho de 20%", afirmou. "A otimização baseada em RL para o mesmo cenário de teste custou cerca de US$ 300 em computação de GPU, enquanto o GEPA obteve melhores resultados por menos de US$ 20 - uma redução de custo de 15 vezes em nossos experimentos."

Além das métricas brutas, os pesquisadores observaram que os sistemas otimizados pelo GEPA são mais confiáveis ao lidar com dados novos e não vistos, conforme indicado por uma "lacuna de generalização" menor. Agrawal sugere que essa maior robustez decorre do fato de o GEPA aprender com um feedback mais rico. "A menor lacuna de generalização do GEPA provavelmente decorre do uso de feedback detalhado em linguagem natural sobre cada resultado - esclarecendo o que foi bem-sucedido, o que falhou e por quê - em vez de depender de uma única pontuação numérica", disse ele. "Isso incentiva o sistema a desenvolver instruções e estratégias com base em uma compreensão abrangente do sucesso, em vez de simplesmente memorizar padrões dos dados de treinamento." Para as empresas, essa confiabilidade aprimorada se traduz em aplicativos de IA mais robustos e adaptáveis em cenários voltados para o cliente.

Uma vantagem prática importante é que as instruções finais do GEPA são até 9,2 vezes mais curtas do que os prompts gerados por otimizadores como o MIPROv2, que geralmente incluem vários exemplos. Os prompts mais curtos reduzem a latência e diminuem os custos dos modelos baseados em API, tornando o aplicativo final mais rápido e mais econômico para ser executado na produção.

O documento também explora aplicações promissoras da GEPA como uma estratégia de pesquisa de "tempo de inferência", transformando uma IA de um gerador de respostas de uma única etapa em um solucionador de problemas iterativo. Agrawal descreveu uma possível integração no pipeline de desenvolvimento de uma empresa, em que a GEPA poderia criar e refinar automaticamente várias versões otimizadas de um sistema, testar seu desempenho e enviar a melhor variante para análise da engenharia. "Isso transforma a otimização em um processo contínuo e automatizado, produzindo rapidamente soluções que muitas vezes atendem ou superam a qualidade do ajuste manual especializado", acrescentou Agrawal. Em testes de geração de código CUDA, esse método elevou o desempenho a um nível de especialista em 20% das tarefas, em comparação com 0% para uma única tentativa com um modelo como o GPT-4o.

Os autores consideram o GEPA como uma etapa fundamental para um novo paradigma no desenvolvimento de IA. Entretanto, além de promover uma IA mais parecida com a humana, seu impacto mais imediato pode ser a democratização da criação de sistemas de alto desempenho.

"Prevemos que o GEPA promoverá uma mudança positiva na construção de sistemas de IA, tornando a otimização acessível aos usuários finais que possuem profundo conhecimento de domínio para a tarefa, mas podem não ter tempo ou vontade de dominar técnicas complexas de RL", concluiu Agrawal. "Ele capacita as partes interessadas que têm o conhecimento preciso e específico da tarefa."