opción
Hogar
Noticias
Simplificación de la evaluación comparativa de la IA empresarial: El marco RAG de código abierto ofrece métricas de rendimiento científico

Simplificación de la evaluación comparativa de la IA empresarial: El marco RAG de código abierto ofrece métricas de rendimiento científico

11 de noviembre de 2025
166

Simplificación de la evaluación comparativa de la IA empresarial: El marco RAG de código abierto ofrece métricas de rendimiento científico

Las empresas están invirtiendo importantes recursos en el desarrollo de sistemas de Generación Aumentada de Recuperación (RAG), con el objetivo de crear soluciones empresariales precisas de IA. Pero, ¿hasta qué punto son eficaces estos sistemas en la realidad?

Uno de los principales obstáculos ha sido la falta de normas objetivas de medición de la eficacia de los GAR. Este reto encuentra una posible solución con el lanzamiento hoy de Open RAG Eval, un marco de código abierto desarrollado en colaboración por Vectara y el equipo de investigación del profesor Jimmy Lin en la Universidad de Waterloo.

Open RAG Eval sustituye las comparaciones subjetivas por una metodología rigurosa y cuantificable para evaluar la precisión de la recuperación, la calidad de la generación y los índices de alucinación en las implementaciones de RAG de las empresas.

El marco evalúa el rendimiento del sistema a través de dos categorías métricas principales: métricas de recuperación y de generación. Funciona tanto con la plataforma de Vectara como con soluciones RAG personalizadas, proporcionando a los equipos técnicos datos sistemáticos para identificar oportunidades de optimización.

"La medición precede a la mejora", explicó el profesor Jimmy Lin en una entrevista exclusiva. "Aunque podíamos medir métricas de recuperación de información como NDCG, precisión y recall, la evaluación de la corrección factual seguía siendo esquiva; por eso nos embarcamos en este proyecto".

Por qué la evaluación RAG sigue siendo el obstáculo crítico para la IA empresarial

Vectara fue pionera en la tecnología RAG antes de que se convirtiera en la corriente dominante: se lanzó en octubre de 2022 e introdujo conceptos de "IA fundamentada" en mayo de 2023 para combatir las alucinaciones.

A medida que las implementaciones de la GAR se hacen más complejas -evolucionando de simples preguntas y respuestas a sistemas multiagente-, los retos de la evaluación se intensifican.

"En los entornos agénticos, la evaluación es doblemente crucial", señala Am Awadallah, CEO de Vectara. "Las alucinaciones de las primeras fases se agravan a lo largo de los pasos de procesamiento, lo que puede dar lugar a resultados finales incorrectos".

Metodología Open RAG Eval: Cuantificación de los componentes del sistema

El marco emplea un enfoque de evaluación basado en nuggets que deconstruye las respuestas en elementos fácticos centrales.

Lin describe cómo este método analiza la capacidad de los sistemas para captar y presentar estas pepitas de información esenciales.

Las evaluaciones se basan en cuatro parámetros específicos:

  1. Detección de alucinaciones: identifica la información sin fundamento en el contenido generado.
  2. Precisión de las citas: evalúa la calidad de la documentación original.
  3. Auto nugget - Mide la inclusión de información esencial
  4. UMBRELA - Proporciona una evaluación exhaustiva del rendimiento del recuperador

El marco examina los flujos de trabajo completos del GAR, revelando cómo los modelos de incrustación, los sistemas de recuperación, las estrategias de fragmentación y los LLM generan resultados de forma colectiva.

Innovación clave: Automatización basada en LLM

El gran avance de Open RAG Eval radica en la automatización de procesos que antes eran manuales mediante una sofisticada integración de LLM.

"La evaluación tradicional se basaba en comparaciones binarias", explicó Lin. "Nuestro enfoque automatizado revoluciona las metodologías de evaluación".

Aunque la evaluación basada en nuggets no es nueva, el marco la implementa a través de LLMs impulsados por Python capaces de identificar hechos y detectar alucinaciones dentro de pipelines de evaluación estructurados.

Posicionamiento del ecosistema de evaluación

En medio de marcos de evaluación de IA en expansión como Yourbench, de Hugging Face, y Agentic Evaluations, de Galileo, Open RAG Eval se centra específicamente en los conductos de RAG en lugar de en los resultados genéricos de LLM.

Basado en la ciencia de la recuperación de la información más que en métodos ad hoc, el marco amplía las contribuciones de código abierto de Vectara, incluido el modelo de evaluación de alucinaciones de Hughes, ampliamente adoptado.

"Lo hemos llamado deliberadamente Open RAG Eval para fomentar la colaboración en todo el sector", subraya Awadallah. "Este marco aborda una necesidad crítica del mercado para la evaluación RAG estandarizada".

Aplicación práctica

Entre los primeros en adoptarlo se encuentra Jeff Hummel, de Anywhere.re, que prevé agilizar los procesos de evaluación gracias a la colaboración de Vectara.

Hummel señaló los desafíos de escalado que implican la complejidad de la infraestructura y la gestión de costes, haciendo hincapié en las capacidades de evaluación comparativa predictiva del marco.

"Sin marcos estandarizados, dependíamos en gran medida de los comentarios subjetivos de los usuarios", reconoció Hummel. "Las métricas objetivas transformarán nuestro enfoque de escalado".

Optimización de las implantaciones de GAR

Open RAG Eval ayuda a los responsables de la toma de decisiones a abordar cuestiones críticas de configuración:

  • Enfoques de agrupación por tokens frente a agrupación semántica
  • Consideraciones sobre la implementación de la búsqueda híbrida
  • Selección de LLM y optimización de avisos
  • Umbrales de detección de alucinaciones

El marco permite la optimización iterativa basada en datos, estableciendo líneas de base, probando configuraciones y midiendo las mejoras. Las versiones futuras pueden incluir sugerencias de optimización automatizadas y herramientas de equilibrio coste-rendimiento.

Para empresas con distintos niveles de madurez de IA, Open RAG Eval ofrece estándares de evaluación científica que sustituyen a las conjeturas y las evaluaciones subjetivas, ayudando a evitar costosos errores de implementación a la vez que se avanza en la tecnología RAG.

Artículo relacionado
CEO de DeepMind, Hassabis: Duermo seis horas al día y generalmente me siento con energía alrededor de la 1 a. m. CEO de DeepMind, Hassabis: Duermo seis horas al día y generalmente me siento con energía alrededor de la 1 a. m. Fortune ha presentado recientemente una entrevista con Demis Hassabis, director ejecutivo de Google DeepMind, en la que revela su enfoque poco convencional para el descanso y la productividad. Hassabis ha revelado que duerme muy poco, estructurando s
OpenAI y Anthropic compiten por la cuota de mercado a pesar de la caída de los ingresos OpenAI y Anthropic compiten por la cuota de mercado a pesar de la caída de los ingresos A pesar de los recientes informes que sugieren que OpenAI no ha alcanzado sus objetivos de ingresos —lo que ha generado presión sobre las acciones tecnológicas este martes—, los inversores privados en
Cumplimiento de la normativa sobre vehículos autónomos en California: una nueva era de multas, geovallas y 1 millón de millas Cumplimiento de la normativa sobre vehículos autónomos en California: una nueva era de multas, geovallas y 1 millón de millas Guident opera un servicio de transporte de AuveTech en el sur de Florida, gestionando una ruta de cuatro millas en West Palm Beach y otra de una milla en Boca Ratón mediante su tecnología de monitoriz
Recomendaciones de temas especiales relacionados
composicion musical Herramientas de separación de pistas con IA para la producción de remezclas, la preparación de samples y las pistas maestras de karaoke
Herramientas de separación de pistas con IA para la producción de remezclas, la preparación de samples y las pistas maestras de karaoke

Las mejores herramientas de separación de pistas con IA de 2026, seleccionadas para la producción de remixes, la preparación de samples y la creación de temas de karaoke. Estas potentes herramientas revolucionarias se han sometido a pruebas en condiciones reales para ofrecer un aislamiento de audio preciso, lo que aumenta significativamente la productividad. XIX.AI ofrece una guía comparativa entre versiones gratuitas y de pago, actualizada semanalmente, para ayudarte a encontrar la solución imprescindible que mejor se adapte a tus necesidades. Explórala ahora para sacar el máximo partido a la IA.

8 herramientas
xix.ai
Análisis de datos Copilotos de AI para SQL destinados a paneles de ingresos, análisis de embudos y métricas de productos
Copilotos de AI para SQL destinados a paneles de ingresos, análisis de embudos y métricas de productos

¡Los mejores copilotos de SQL basados en IA de 2026, clasificados entre los más destacados! XIX.AI reúne una poderosa colección que evoluciona constantemente, con pruebas en el mundo real actualizadas semanalmente. Estas herramientas indispensables le permiten generar paneles de control de ingresos precisos, analizar los canales de venta y seguir de cerca las métricas de los productos de manera rápida, lo que aumenta significativamente su productividad. ¡Explórelas ahora para encontrar la herramienta perfecta para tomar decisiones basadas en datos! 238 caracteres

9 herramientas
xix.ai
composicion musical Mejores herramientas de IA para escribir melodías en borradores de canciones
Mejores herramientas de IA para escribir melodías en borradores de canciones

2026 Últimas Mejores Herramientas de Escritura de Melodías con IA Mejor Valoradas para Borradores de Canciones. XIX.AI ha curado una colección altamente poderosa y transformadora que ha pasado por rigurosas pruebas en el mundo real para ofrecer la mejor experiencia de escritura. Puedes encontrar comparaciones detalladas entre versiones gratuitas y de pago, clasificaciones precisas y opciones imperdibles diseñadas para ayudarte a crear borradores de canciones impresionantes sin esfuerzo y aumentar significativamente tu productividad creativa. ¡Explora ahora para descubrir tu herramienta perfecta!

8 herramientas
xix.ai
chatbot Mejores herramientas de entrenamiento de conversación con IA para practicar entrevistas
Mejores herramientas de entrenamiento de conversación con IA para practicar entrevistas

¡Las mejores herramientas de entrenamiento de conversación con IA para prácticas de entrevistas más recientes y mejor valoradas de 2026 ya están disponibles en XIX.AI! Esta colección seleccionada incluye herramientas poderosas y transformadoras que han pasado por rigurosas pruebas en el mundo real para ofrecer retroalimentación precisa. Encontrarás una comparación entre opciones gratuitas y de pago, así como clasificaciones detalladas para ayudarte a elegir la opción imprescindible que aumente tu confianza y habilidades. ¡Explora ahora para descubrir tu herramienta perfecta para el éxito en las entrevistas!

12 herramientas
xix.ai
Diseño y Arte Las mejores herramientas de transferencia de estilos con IA para experimentos creativos
Las mejores herramientas de transferencia de estilos con IA para experimentos creativos

¡Las mejores herramientas de transferencia de estilo con IA de 2026, mejor valoradas para experimentos creativos! XIX.AI ha seleccionado una colección de herramientas potentes y revolucionarias que no te puedes perder, capaces de ofrecer resultados excepcionales según pruebas reales y clasificaciones rigurosas. Estas soluciones de primera categoría ayudan a los creativos a aumentar significativamente su productividad, acelerando la creación de contenidos y abriendo un sinfín de posibilidades creativas. ¡Explora ahora mismo para descubrir tu herramienta perfecta y empieza a crear hoy mismo!

9 herramientas
xix.ai
Creación de cómics Las mejores herramientas de burbujas de diálogo con IA para la narración visual
Las mejores herramientas de burbujas de diálogo con IA para la narración visual

¡Ya están aquí, en XIX.AI, las mejores herramientas de 2026 con las mejores valoraciones para crear bocadillos de diálogo con IA y contar historias visuales! Esta selección incluye potentes herramientas revolucionarias que ayudan a los creadores a aumentar su productividad y superar los bloqueos creativos. Consulta una comparación entre las versiones gratuitas y de pago, echa un vistazo a las pruebas en condiciones reales y revisa las últimas clasificaciones para encontrar las soluciones imprescindibles, perfectas para crear narrativas visuales cautivadoras. ¡Explora ahora mismo y descubre tu herramienta ideal!

10 herramientas
xix.ai
comentario (0)
0/500
OR