Datagemma aborda alucinaciones de IA con datos del mundo real

Los modelos de idiomas grandes (LLM) están en el corazón de los avances de IA de hoy en día, capaces de examinar los conjuntos de datos de texto masivos para producir resúmenes, desencadenar ideas creativas e incluso escribir código. Sin embargo, a pesar de su destreza, estos modelos a veces pueden entregar información que es simplemente incorrecta, un problema que llamamos "alucinación". Es un gran obstáculo en el mundo de la IA generativa.

Estamos entusiasmados de compartir una investigación de vanguardia que aborde este problema de frente, con el objetivo de frenar las alucinaciones de la base de LLM en estadísticas del mundo real. Y estamos encantados de introducir Datagemma, los primeros modelos abiertos que vinculan LLM con una gran cantidad de datos del mundo real de los datos comunes de Data de Google.

Data Commons: un tesoro de datos confiables

Data Commons es como una biblioteca gigante y cada vez mayor de datos públicos, que cuenta con más de 240 mil millones de puntos de datos sobre todo, desde la salud hasta la economía. Trae esta información de fuentes confiables como la ONU, OMS, CDC y Oficinas del Censo. Al fusionar estos conjuntos de datos en un único y potente conjunto de herramientas y modelos de IA, Data Commons ayuda a los formuladores de políticas, investigadores y organizaciones a obtener las ideas precisas que necesitan.

Imagine una vasta base de datos donde puede hacer preguntas en inglés simple, como qué países africanos han visto el mayor salto en el acceso a la electricidad, o cómo los ingresos se relacionan con la diabetes en los condados de los Estados Unidos. Eso es Data Commons para usted.

Cómo Data Commons ayuda a combatir la alucinación

A medida que más personas recurren a la IA generativa, estamos trabajando para hacer que estas experiencias se sientan más fijas al tejer Data Commons en Gemma, nuestra familia de modelos abiertos livianos y de primer nivel. Estos modelos de datagemma ahora están disponibles para que los investigadores y desarrolladores se sumergan.

Datagemma aumenta las capacidades de Gemma aprovechando el conocimiento de Data Commons, utilizando dos métodos geniales para mejorar la precisión y el razonamiento de los LLM:

1. RIG (generación de recuperación interfire) AMPS de nuestro modelo Gemma 2 revisando activamente hechos contra Data Commons. Cuando le hace una pregunta a Datagemma, busca datos estadísticos de Data Commons para darle una respuesta sólida. Si bien Rig no es una idea nueva, la forma en que la estamos usando en Datagemma es bastante especial.

   Consulta de ejemplo: "¿ha aumentado el uso de renovables en el mundo?", La aplicación de la metodología de la plataforma de datos de datos aprovecha Data Commons (DC) para datos autorizados.

2. El trapo (generación de recuperación de recuperación) permite que los modelos de idiomas introduzcan información adicional más allá de lo que han sido entrenados, haciendo que sus respuestas sean más ricas y precisas. Con Datagemma, utilizamos la larga ventana de contexto de Gemini 1.5 Pro para obtener datos relevantes de Data Commons antes de que el modelo comience a elaborar su respuesta, reduciendo las alucinaciones.

   Consulta de ejemplo: "¿ha aumentado el uso de renovables en el mundo?", La aplicación de la metodología de Datagemma Rag muestra un mayor razonamiento e inclusión de notas al pie.

Resultados prometedores y lo que sigue

Nuestras primeras pruebas con plataforma y trapo se ven bien. Estamos viendo una mejor precisión en nuestros modelos cuando se trata de números, lo que significa menos alucinaciones para las personas que usan estos modelos para la investigación, la toma de decisiones o simplemente para satisfacer su curiosidad. Puede consultar estos resultados en nuestro trabajo de investigación.