Datagemma aborda alucinaciones de IA con datos del mundo real

Los modelos de lenguaje grandes (LLMs) están en el corazón de los avances de la IA actual, capaces de analizar enormes conjuntos de datos de texto para producir resúmenes, generar ideas creativas e incluso escribir código. Sin embargo, a pesar de su destreza, estos modelos a veces entregan información que es simplemente errónea, un problema que llamamos "alucinación". Es un gran obstáculo en el mundo de la IA generativa.

Estamos emocionados de compartir investigaciones de vanguardia que abordan este problema de frente, buscando reducir las alucinaciones al anclar los LLMs en estadísticas del mundo real. Y estamos encantados de presentar DataGemma, los primeros modelos abiertos que conectan LLMs con una gran cantidad de datos del mundo real de Google's Data Commons.

Data Commons: Un Tesoro de Datos Confiables

Data Commons es como una biblioteca gigante y en constante crecimiento de datos públicos, con más de 240 mil millones de puntos de datos sobre todo, desde salud hasta economía. Obtiene esta información de fuentes confiables como la ONU, la OMS, los CDC y las Oficinas de Censos. Al combinar estos conjuntos de datos en una única y poderosa herramienta y modelos de IA, Data Commons ayuda a los responsables de políticas, investigadores y organizaciones a obtener las ideas precisas que necesitan.

Imagina una enorme base de datos donde puedes hacer preguntas en español sencillo, como qué países africanos han experimentado el mayor aumento en el acceso a la electricidad, o cómo se relaciona el ingreso con la diabetes en los condados de EE. UU. Eso es Data Commons.

Cómo Data Commons Ayuda a Combatir las Alucinaciones

A medida que más personas recurren a la IA generativa, estamos trabajando para hacer que estas experiencias sean más sólidas al integrar Data Commons en Gemma, nuestra familia de modelos abiertos ligeros y de alta calidad. Estos modelos DataGemma ahora están disponibles para que investigadores y desarrolladores los exploren.

DataGemma mejora las capacidades de Gemma al aprovechar el conocimiento de Data Commons, utilizando dos métodos interesantes para mejorar la precisión y el razonamiento de los LLMs:

1. RIG (Generación Intercalada con Recuperación) potencia nuestro modelo Gemma 2 al verificar activamente los hechos contra Data Commons. Cuando le haces una pregunta a DataGemma, busca datos estadísticos de Data Commons para darte una respuesta sólida. Aunque RIG no es una idea nueva, la forma en que lo usamos en DataGemma es bastante especial.

   Consulta de ejemplo: "¿Ha aumentado el uso de renovables en el mundo?" aplicando la metodología RIG de DataGemma aprovecha Data Commons (DC) para datos autorizados.

2. RAG (Generación Aumentada por Recuperación) permite a los modelos de lenguaje incorporar información adicional más allá de lo que han sido entrenados, haciendo sus respuestas más ricas y precisas. Con DataGemma, usamos la ventana de contexto largo de Gemini 1.5 Pro para recuperar datos relevantes de Data Commons antes de que el modelo comience a elaborar su respuesta, reduciendo las alucinaciones.

   Consulta de ejemplo: "¿Ha aumentado el uso de renovables en el mundo?" aplicando la metodología RAG de DataGemma muestra un mayor razonamiento e inclusión de notas al pie.

Resultados Prometedores y Qué Sigue

Nuestras primeras pruebas con RIG y RAG son prometedoras. Estamos viendo una mejor precisión en nuestros modelos cuando manejan números, lo que significa menos alucinaciones para quienes usan estos modelos para investigación, toma de decisiones o simplemente para satisfacer su curiosidad. Puedes consultar estos resultados en nuestro artículo de investigación.