Datagemma aborde les hallucinations AI avec des données réelles

Les modèles de grandes langues (LLM) sont au cœur des percées d'IA d'aujourd'hui, capables de passer au crible des ensembles de données de texte massifs pour produire des résumés, déclencher des idées créatives et même écrire du code. Pourtant, malgré leurs prouesses, ces modèles peuvent parfois fournir des informations qui sont tout simplement fausses, un problème que nous appelons «hallucination». C'est un grand obstacle dans le monde de l'IA générative.

Nous sommes ravis de partager des recherches de pointe qui abordent ce problème de front, visant à limiter les hallucinations en ancrant les LLM dans les statistiques du monde réel. Et nous sommes ravis d'introduire Datagemma, les premiers modèles ouverts qui relient les LLM avec une multitude de données réelles de Data Commons de Google.

Data Commons: un trésor de données dignes de confiance

Data Commons est comme une bibliothèque géante et en pleine croissance des données publiques, avec plus de 240 milliards de points de données sur tout, de la santé à l'économie. Il tire ces informations à partir de sources fiables comme l'ONU, qui, CDC, et les bureaux de recensement. En fusionnant ces ensembles de données dans un seul ensemble d'outils et des modèles d'outils puissants, Data Commons aide les décideurs, les chercheurs et les organisations à obtenir les idées précises dont ils ont besoin.

Imaginez une vaste base de données où vous pouvez poser des questions en anglais simple, comme quels pays africains ont vu le plus grand bond de l'accès à l'électricité, ou comment le revenu est lié au diabète dans les comtés américains. C'est Data Commons pour vous.

Comment les communaux de données aident à lutter contre l'hallucination

Alors que de plus en plus de gens se tournent vers une IA générative, nous travaillons à rendre ces expériences plus fondées sur les communes de données de tissage en Gemma, notre famille de modèles ouverts légers et de premier ordre. Ces modèles de données de données sont désormais disponibles pour que les chercheurs et les développeurs plongent.

Datagemma augmente les capacités de Gemma en appuyant dans les connaissances des Dona Commons, en utilisant deux méthodes intéressantes pour améliorer la précision et le raisonnement des LLMS:

1. RIG (génération à intervention de récupération) amplifie notre modèle GEMMA 2 en vérifiant activement les faits contre Data Commons. Lorsque vous posez une question de Datagemma, il traque des données statistiques de Data Commons pour vous donner une réponse solide. Bien que Rig ne soit pas une nouvelle idée, la façon dont nous l'utilisons dans Datagemma est assez spéciale.

   Exemple de requête: '' L'utilisation des énergies renouvelables a-t-elle augmenté dans le monde? '' L'application de la méthodologie de la plate-forme de données de données exploite les données de données (DC) pour les données faisant autorité.

2. RAG (génération auprès de la récupération) permet aux modèles de langage de tirer des informations supplémentaires au-delà de ce sur quoi ils ont été formés, rendant leurs réponses plus riches et plus précises. Avec Datagemma, nous utilisons la longue fenêtre de contexte de Gemini 1.5 Pro pour récupérer les données pertinentes de Data Commons avant que le modèle ne commence à fabriquer sa réponse, réduisant les hallucinations.

   Exemple de requête: '' L'utilisation des énergies renouvelables a-t-elle augmenté dans le monde? '' L'application de la méthodologie de chiffon de données de données présente un raisonnement et une inclusion plus élevés des notes de bas de page.

Résultats prometteurs et quelle est la prochaine étape

Nos premiers tests avec Rig et Rag ont l'air bien. Nous constatons une meilleure précision dans nos modèles lorsque nous traitons des chiffres, ce qui signifie moins d'hallucinations pour les gens qui utilisent ces modèles pour la recherche, la prise de décision ou simplement pour satisfaire leur curiosité. Vous pouvez consulter ces résultats dans notre document de recherche.