GEPA de Google mejora el rendimiento de LLM y evita el costoso aprendizaje por refuerzo

Investigadores de la Universidad de Berkeley, la Universidad de Stanford y Databricks han presentado un nuevo método de optimización de la inteligencia artificial llamado GEPA, que demuestra notables mejoras respecto a las técnicas tradicionales de aprendizaje por refuerzo para adaptar grandes modelos lingüísticos a tareas especializadas.

GEPA se aleja del método convencional de aprendizaje mediante miles de intentos de ensayo y error basados en simples puntuaciones numéricas. En su lugar, utiliza las capacidades lingüísticas internas de un LLM para analizar su rendimiento, identificar errores y perfeccionar progresivamente sus instrucciones. Además de lograr una mayor precisión que los métodos establecidos, GEPA es mucho más eficiente y ofrece resultados superiores con hasta 35 veces menos intentos.

Para las empresas que desarrollan agentes y flujos de trabajo de IA complejos, este avance significa un desarrollo más rápido, costes de computación significativamente más bajos y aplicaciones más potentes y fiables.

El alto coste de optimizar los sistemas modernos de IA

Las aplicaciones modernas de IA empresarial rara vez se basan en una única llamada a un LLM. Suelen ser "sistemas de IA compuestos", es decir, flujos de trabajo sofisticados que combinan varios módulos LLM, herramientas externas como bases de datos o intérpretes de código, y lógica personalizada para ejecutar tareas complejas, como la investigación en varios pasos y el análisis de datos.

Una estrategia de optimización habitual para estos sistemas es el aprendizaje por refuerzo, ejemplificado por técnicas como la optimización de políticas relativas de grupo utilizada en modelos de razonamiento avanzados. Estos métodos tratan el sistema de IA como una caja negra, evaluando una tarea a través de una métrica básica de éxito. Esta retroalimentación limitada se utiliza entonces para ajustar gradualmente los parámetros del modelo hacia un mejor rendimiento.

La principal limitación de la RL es su ineficacia. Para aprender eficazmente a partir de puntuaciones numéricas mínimas, la RL suele requerir decenas o incluso cientos de miles de ejecuciones de prueba. Para cualquier aplicación empresarial del mundo real que implique costosas llamadas a herramientas o modelos propietarios, este proceso es prohibitivamente lento y caro.

Como explica Lakshya A Agrawal, coautor y estudiante de doctorado en la UC Berkeley, esta complejidad supone un obstáculo importante para muchas organizaciones. "Para muchos equipos, la RL es inviable debido a su coste y complejidad, y su enfoque por defecto ha sido en gran medida la ingeniería manual", señala Agrawal. GEPA está diseñado para equipos que trabajan con modelos de alto rendimiento que a menudo no pueden ajustarse con precisión, lo que les permite mejorar el rendimiento sin gestionar hardware especializado.

El equipo de investigación plantea el reto de esta manera: "¿Cómo podemos extraer la máxima señal de aprendizaje de cada ensayo costoso para permitir la adaptación eficaz de sistemas de IA complejos y modulares con limitaciones de datos o presupuesto?".

Un optimizador que aprende a través del lenguaje

GEPA aborda este reto sustituyendo las escasas señales de recompensa por una detallada retroalimentación en lenguaje natural. Aprovecha el hecho de que toda la ejecución de un sistema de IA -sus pasos de razonamiento, llamadas a herramientas y mensajes de error- puede representarse como texto para que lo procese un LLM. Esta metodología se basa en tres principios fundamentales.

El primero es la "evolución genética de las instrucciones", en la que GEPA trata un conjunto de instrucciones como una reserva genética, modificándolas iterativamente para generar versiones nuevas y potencialmente mejoradas. Este proceso de mutación está guiado por el segundo principio: "reflexión con retroalimentación de lenguaje natural". Tras varias ejecuciones de prueba, GEPA presenta a un LLM el historial completo de ejecución y los resultados. A continuación, el LLM analiza esta información para diagnosticar problemas y redactar un aviso mejorado y más preciso. Por ejemplo, en lugar de limitarse a recibir una puntuación baja en la generación de código, puede examinar un error del compilador y determinar que el aviso debe especificar una versión concreta de la biblioteca.

El tercer principio es la "selección basada en Pareto", que promueve la exploración inteligente. En lugar de centrarse únicamente en el indicador con la puntuación más alta, con el riesgo de conformarse con una solución subóptima, GEPA mantiene una colección diversa de indicadores especializados. Identifica las instrucciones que destacan en los distintos casos de prueba y elabora una lista de los principales candidatos. Mediante el muestreo de esta variedad de estrategias exitosas, GEPA explora un espacio de soluciones más amplio y es más probable que descubra un indicador que funcione bien a través de diversas entradas.

El éxito de todo este proceso depende de lo que los investigadores denominan "ingeniería de retroalimentación". Agrawal subraya que la clave está en captar los ricos detalles textuales que los sistemas ya producen pero que a menudo ignoran. "Los métodos convencionales suelen condensar esta información en una única recompensa numérica, ocultando las razones que subyacen a determinados resultados", explica. "El enfoque central de GEPA consiste en estructurar una retroalimentación que revele no sólo los resultados finales, sino también los pasos intermedios y los errores en texto plano: las mismas pruebas que un experto humano utilizaría para analizar el comportamiento del sistema."

Por ejemplo, en el caso de un sistema de recuperación de documentos, esto implicaría enumerar qué documentos se recuperaron correctamente y cuáles no, en lugar de informar únicamente de una puntuación final de precisión.

GEPA en la práctica

El equipo de investigación evaluó GEPA en cuatro tareas distintas, desde la respuesta a preguntas de varios saltos hasta consultas para preservar la privacidad. Probaron modelos tanto de código abierto como propios, comparando GEPA con GRPO basado en RL y el optimizador avanzado de consultas MIPROv2.

En todas las evaluaciones, GEPA superó significativamente a GRPO, logrando hasta un 19% de mejora en la puntuación y utilizando hasta 35 veces menos ejecuciones de prueba. Agrawal ilustró esta eficacia con un ejemplo concreto: "Optimizamos un sistema de respuesta de preguntas con GEPA en unas 3 horas, frente a las 24 horas de GRPO, lo que supone una reducción del tiempo de desarrollo ocho veces mayor, junto con un aumento del rendimiento del 20%", afirmó. "La optimización basada en RL para el mismo escenario de prueba costaba unos 300 dólares en cálculo de GPU, mientras que GEPA conseguía mejores resultados por menos de 20 dólares, lo que supone una reducción de costes 15 veces mayor en nuestros experimentos".

Más allá de las métricas en bruto, los investigadores observaron que los sistemas optimizados con GEPA son más fiables a la hora de manejar datos nuevos y desconocidos, como indica una menor "brecha de generalización". Agrawal sugiere que esta mayor robustez se debe a que GEPA aprende de una retroalimentación más rica. "La menor brecha de generalización de GEPA se debe probablemente al uso de comentarios detallados en lenguaje natural sobre cada resultado -aclarando qué ha funcionado, qué ha fallado y por qué- en lugar de basarse en una única puntuación numérica", explica. "Esto anima al sistema a desarrollar instrucciones y estrategias basadas en una comprensión global del éxito, en lugar de limitarse a memorizar patrones a partir de los datos de entrenamiento". Para las empresas, esta mayor fiabilidad se traduce en aplicaciones de IA más robustas y adaptables en escenarios de cara al cliente.

Una ventaja práctica clave es que las instrucciones finales de GEPA son hasta 9,2 veces más cortas que las generadas por optimizadores como MIPROv2, que suelen incluir numerosos ejemplos. Las instrucciones más cortas reducen la latencia y los costes de los modelos basados en API, lo que hace que la aplicación final sea más rápida y más económica de ejecutar en producción.

El artículo también explora las prometedoras aplicaciones de GEPA como estrategia de búsqueda "en tiempo de inferencia", transformando una IA de un generador de respuestas de un solo paso en un solucionador iterativo de problemas. Agrawal describe una posible integración en el proceso de desarrollo de una empresa, en el que GEPA podría crear y perfeccionar automáticamente varias versiones optimizadas de un sistema, probar su rendimiento y someter la mejor variante a la revisión de los ingenieros. "Esto convierte la optimización en un proceso continuo y automatizado que produce rápidamente soluciones que a menudo igualan o superan la calidad del ajuste manual realizado por expertos", añade Agrawal. En las pruebas de generación de código CUDA, este método elevó el rendimiento a un nivel experto en el 20% de las tareas, frente al 0% de un único intento con un modelo como GPT-4o.

Los autores consideran que GEPA es un paso fundamental hacia un nuevo paradigma en el desarrollo de la IA. Sin embargo, más allá de fomentar una IA más parecida a la humana, su impacto más inmediato puede ser la democratización de la creación de sistemas de alto rendimiento.

"Anticipamos que GEPA fomentará un cambio positivo en la construcción de sistemas de IA, haciendo la optimización accesible a los usuarios finales que poseen profundos conocimientos del dominio para la tarea, pero pueden carecer del tiempo o el deseo de dominar complejas técnicas de RL", concluyó Agrawal. "Da poder a las partes interesadas que tienen los conocimientos precisos y específicos de la tarea".