Le GEPA de Google améliore les performances du LLM en contournant les besoins coûteux en matière d'apprentissage par renforcement.

Des chercheurs de l'université de Berkeley, de l'université de Stanford et de Databricks ont présenté une nouvelle méthode d'optimisation de l'IA appelée GEPA, qui apporte des améliorations remarquables par rapport aux techniques traditionnelles d'apprentissage par renforcement pour l'adaptation de grands modèles de langage à des tâches spécialisées.

GEPA s'écarte de l'approche conventionnelle de l'apprentissage par des milliers de tentatives d'essai et d'erreur basées sur de simples scores numériques. Au lieu de cela, il utilise les capacités linguistiques internes d'un LLM pour analyser ses performances, identifier les erreurs et affiner progressivement ses instructions. En plus d'atteindre une plus grande précision que les méthodes établies, GEPA est beaucoup plus efficace, fournissant des résultats supérieurs avec jusqu'à 35 fois moins d'essais.

Pour les entreprises qui développent des agents d'IA et des flux de travail complexes, cette avancée est synonyme de développement plus rapide, de coûts informatiques nettement inférieurs et d'applications plus puissantes et plus fiables.

Le coût élevé de l'optimisation des systèmes d'IA modernes

Les applications d'IA d'entreprise modernes reposent rarement sur un seul appel à un LLM. Il s'agit généralement de "systèmes d'IA composés", des flux de travail sophistiqués qui combinent plusieurs modules LLM, des outils externes tels que des bases de données ou des interpréteurs de code, et une logique personnalisée pour exécuter des tâches complexes, telles que la recherche en plusieurs étapes et l'analyse de données.

Une stratégie d'optimisation courante pour ces systèmes est l'apprentissage par renforcement, illustrée par des techniques telles que l'optimisation de la politique relative du groupe utilisée dans les modèles de raisonnement avancés. Ces méthodes traitent le système d'IA comme une boîte noire, évaluant une tâche à l'aide d'une mesure de réussite de base. Ce retour d'information limité est ensuite utilisé pour ajuster progressivement les paramètres du modèle en vue d'améliorer les performances.

La principale limite du RL est son inefficacité. Pour apprendre efficacement à partir de notes numériques minimales, le RL nécessite souvent des dizaines, voire des centaines de milliers d'essais. Pour toute application d'entreprise du monde réel impliquant des appels d'outils coûteux ou des modèles propriétaires, ce processus est d'une lenteur et d'un coût prohibitifs.

Comme l'explique Lakshya A Agrawal, coauteur et doctorant à l'université de Berkeley, cette complexité constitue un obstacle majeur pour de nombreuses organisations. "Pour de nombreuses équipes, la RL n'est pas pratique en raison de son coût et de sa complexité - leur approche par défaut a été en grande partie l'ingénierie manuelle rapide", a noté Agrawal. GEPA est conçu pour les équipes qui travaillent avec des modèles très performants qui ne peuvent souvent pas être réglés avec précision, ce qui leur permet d'améliorer les performances sans avoir à gérer du matériel spécialisé.

L'équipe de recherche a formulé le défi de la manière suivante : "Comment pouvons-nous extraire le signal d'apprentissage maximal de chaque essai coûteux pour permettre une adaptation efficace des systèmes d'IA complexes et modulaires dans le cadre de contraintes de données ou de budget serrées ?

Un optimiseur qui apprend par le langage

GEPA relève ce défi en remplaçant les signaux de récompense épars par un retour d'information détaillé en langage naturel. Il capitalise sur le fait que l'exécution complète d'un système d'IA - ses étapes de raisonnement, ses appels d'outils et ses messages d'erreur - peut être représentée sous la forme d'un texte qu'un LLM peut traiter. Cette méthodologie repose sur trois principes fondamentaux.

Le premier est l'"évolution génétique des messages-guides" : GEPA traite un ensemble de messages-guides comme un pool génétique et les modifie de manière itérative pour générer de nouvelles versions potentiellement améliorées. Ce processus de mutation est guidé par le deuxième principe : "réflexion avec retour d'information en langage naturel". Après plusieurs essais, GEPA présente à un LLM l'historique complet de l'exécution et les résultats. Le LLM analyse ensuite ces informations pour diagnostiquer les problèmes et rédiger une invite plus précise et améliorée. Par exemple, au lieu de recevoir un score faible pour la génération de code, il peut examiner une erreur de compilateur et déterminer que l'invite doit spécifier une version particulière de la bibliothèque.

Le troisième principe est la "sélection basée sur Pareto", qui favorise une exploration intelligente. Au lieu de se concentrer uniquement sur l'invite ayant le score le plus élevé, ce qui risque d'aboutir à une solution sous-optimale, le GEPA maintient une collection variée d'invites spécialisées. Il identifie les messages qui excellent dans les différents cas de test, en compilant une liste de candidats de premier plan. En échantillonnant à partir de cette variété de stratégies réussies, GEPA explore un espace de solutions plus large et a plus de chances de découvrir un message-guide qui donne de bons résultats avec diverses entrées.

Le succès de l'ensemble de ce processus dépend de ce que les chercheurs appellent "l'ingénierie du retour d'information". Agrawal souligne que la clé consiste à capturer les riches détails textuels que les systèmes produisent déjà, mais qu'ils ignorent souvent. "Les pipelines conventionnels condensent généralement ces informations en une seule récompense numérique, cachant les raisons qui sous-tendent des résultats spécifiques", explique-t-il. "L'approche fondamentale de GEPA consiste à structurer le retour d'information de manière à révéler non seulement les résultats finaux, mais aussi les étapes intermédiaires et les erreurs en texte clair, c'est-à-dire les mêmes éléments qu'un expert humain utiliserait pour analyser le comportement du système.

Par exemple, dans le cas d'un système de recherche de documents, il s'agirait d'indiquer quels documents ont été correctement retrouvés et lesquels ont été manqués, au lieu de se contenter de communiquer un score de précision final.

GEPA en pratique

L'équipe de recherche a évalué la GEPA dans le cadre de quatre tâches distinctes, allant de la réponse à des questions multi-sauts à des requêtes préservant la vie privée. Ils ont testé à la fois des modèles open-source et propriétaires, comparant GEPA à GRPO basé sur RL et à l'optimiseur avancé de requêtes MIPROv2.

Dans toutes les évaluations, GEPA a nettement surpassé GRPO, obtenant jusqu'à 19 % d'amélioration du score tout en utilisant jusqu'à 35 fois moins d'essais. Agrawal a illustré cette efficacité à l'aide d'un exemple précis : "Nous avons optimisé un système de réponse aux questions avec GEPA en 3 heures environ, contre 24 heures pour GRPO, soit une réduction de huit fois le temps de développement, associée à un gain de performance de 20 %", a-t-il déclaré. "L'optimisation basée sur RL pour le même scénario de test a coûté environ 300 dollars en calcul GPU, alors que GEPA a obtenu de meilleurs résultats pour moins de 20 dollars, soit une réduction des coûts de 15 fois dans nos expériences.

Au-delà des mesures brutes, les chercheurs ont observé que les systèmes optimisés par GEPA sont plus fiables lorsqu'ils traitent des données nouvelles et inédites, comme l'indique un "écart de généralisation" plus faible. Agrawal suggère que cette robustesse améliorée provient du fait que GEPA apprend à partir d'un retour d'information plus riche. "La réduction de l'écart de généralisation de GEPA est probablement due à l'utilisation d'un retour d'information détaillé en langage naturel sur chaque résultat, expliquant ce qui a réussi, ce qui a échoué et pourquoi, au lieu de s'appuyer sur un score numérique unique. "Cela encourage le système à développer des instructions et des stratégies basées sur une compréhension globale de la réussite, plutôt que de simplement mémoriser des schémas à partir des données de formation." Pour les entreprises, cette fiabilité accrue se traduit par des applications d'IA plus robustes et plus adaptables dans les scénarios de contact avec la clientèle.

L'un des principaux avantages pratiques est que les instructions finales de GEPA sont jusqu'à 9,2 fois plus courtes que les invites générées par des optimiseurs tels que MIPROv2, qui comprennent souvent de nombreux exemples. Des invites plus courtes réduisent la latence et les coûts des modèles basés sur l'API, ce qui rend l'application finale à la fois plus rapide et plus économique à exécuter en production.

L'article explore également les applications prometteuses de la GEPA en tant que stratégie de recherche "inférentielle", transformant l'IA d'un générateur de réponses en une seule étape en un résolveur de problèmes itératif. Agrawal décrit une intégration potentielle dans le pipeline de développement d'une entreprise, où GEPA pourrait automatiquement créer et affiner plusieurs versions optimisées d'un système, tester leurs performances et soumettre la meilleure variante à l'examen des ingénieurs. "Cela transforme l'optimisation en un processus continu et automatisé, produisant rapidement des solutions qui atteignent ou dépassent souvent la qualité des réglages manuels effectués par des experts", a ajouté M. Agrawal. Lors de tests sur la génération de code CUDA, cette méthode a permis d'élever les performances à un niveau expert pour 20 % des tâches, contre 0 % pour une seule tentative avec un modèle tel que GPT-4o.

Les auteurs considèrent le GEPA comme une étape fondamentale vers un nouveau paradigme dans le développement de l'IA. Toutefois, au-delà de la promotion d'une IA plus proche de l'humain, son impact le plus immédiat pourrait être la démocratisation de la création de systèmes à haute performance.

"Nous pensons que le GEPA favorisera un changement positif dans la construction de systèmes d'IA, en rendant l'optimisation accessible aux utilisateurs finaux qui possèdent une expertise approfondie du domaine pour cette tâche, mais qui n'ont pas le temps ou l'envie de maîtriser des techniques RL complexes", a conclu M. Agrawal. "Les parties prenantes qui possèdent des connaissances précises et spécifiques à la tâche s'en trouvent renforcées.