"Menos es más: cómo recuperar menos documentos mejora las respuestas de IA"

La generación de recuperación aumentada (RAG) es un enfoque innovador para construir sistemas de IA, combinando un modelo de lenguaje con una fuente de conocimiento externa para mejorar la precisión y reducir los errores objetivos. En esencia, la IA busca documentos relevantes relacionados con la consulta de un usuario y utiliza esta información para generar una respuesta más precisa. Este método ha ganado reconocimiento por su capacidad para mantener grandes modelos de idiomas (LLM) basados ​​en datos reales, minimizando el riesgo de alucinaciones.

Puede suponer que proporcionar una IA con más documentos conduciría a respuestas mejor informadas. Sin embargo, un estudio reciente de la Universidad Hebrea de Jerusalén sugiere lo contrario: cuando se trata de alimentar información a una IA, menos puede ser más.

Menos documentos, mejores respuestas

El estudio profundizó en cómo el número de documentos proporcionados a un sistema RAG afecta su rendimiento. Los investigadores mantuvieron una longitud de texto total consistente, ajustando el recuento de documentos de 20 a 2-4 relevantes y expandiéndolos para que coincidan con el volumen de texto original. Esto les permitió aislar el efecto de la cantidad de documento en el rendimiento.

Utilizando el conjunto de datos Musique, que incluye preguntas de trivia combinadas con párrafos de Wikipedia, descubrieron que los modelos de IA a menudo funcionaban mejor con menos documentos. La precisión mejoró hasta en un 10% (medido por la puntuación F1) cuando el sistema se centró en solo unos pocos documentos clave en lugar de una colección amplia. Esta tendencia se mantuvo en varios modelos de lenguaje de código abierto, como Meta's Llama, con Qwen-2 como la excepción notable, manteniendo su rendimiento con múltiples documentos.

Fuente: Levy et al.

Este sorprendente resultado desafía la creencia común de que más información siempre ayuda. Incluso con la misma cantidad de texto, la presencia de múltiples documentos parecía complicar la tarea de la IA, introduciendo más ruido que señal.

Por qué menos puede estar más en trapo

El principio "menos es más" tiene sentido cuando consideramos cómo los modelos AI procesan la información. Con menos documentos más relevantes, la IA puede centrarse en el contexto esencial sin distracciones, al igual que un estudiante que estudia el material más pertinente.

En el estudio, los modelos se desempeñaron mejor cuando se les dieron solo los documentos directamente relevantes para la respuesta, ya que este contexto más limpio y enfocado facilitó la extracción de la información correcta. Por el contrario, cuando la IA tuvo que examinar muchos documentos, a menudo luchaba con la combinación de contenido relevante e irrelevante. Documentos similares pero no relacionados podrían engañar al modelo, aumentando el riesgo de alucinaciones.

Curiosamente, el estudio encontró que la IA podría ignorar más fácilmente los documentos obviamente irrelevantes que los sutilmente fuera del tema. Esto sugiere que los distractores realistas son más confusos que los aleatorios. Al limitar los documentos a los necesarios, reducimos la probabilidad de establecer tales trampas.

Además, el uso de menos documentos reduce la sobrecarga computacional, lo que hace que el sistema sea más eficiente y rentable. Este enfoque no solo mejora la precisión, sino que también mejora el rendimiento general del sistema RAG.

Fuente: Levy et al.

Repensar trapo: instrucciones futuras

Estos hallazgos tienen implicaciones significativas para el diseño de futuros sistemas de IA que dependen del conocimiento externo. Sugiere que centrarse en la calidad y relevancia de los documentos recuperados, en lugar de su cantidad, podría mejorar el rendimiento. Los autores del estudio abogan por los métodos de recuperación que equilibran la relevancia y la diversidad, asegurando una cobertura integral sin abrumar al modelo con texto extraño.

La investigación futura puede explorar mejores sistemas de recuperación o re-rankers para identificar documentos verdaderamente valiosos y mejorar la forma en que los modelos de lenguaje manejan múltiples fuentes. Mejorar los modelos mismos, como se ve con Qwen-2, también podría proporcionar información sobre hacerlos más robustos para diversas entradas.

A medida que los sistemas de IA desarrollan ventanas de contexto más amplias, la capacidad de procesar más texto a la vez se vuelve menos crítica que garantizar que el texto sea relevante y seleccionado. El estudio, titulado "Más documentos, la misma longitud", subraya la importancia de centrarse en la información más pertinente para mejorar la precisión y eficiencia de la IA.

En conclusión, esta investigación desafía nuestros supuestos sobre la entrada de datos en los sistemas de IA. Al seleccionar cuidadosamente menos documentos, podemos crear sistemas de trapo más inteligentes y más delgados que ofrecen respuestas más precisas y confiables.