Datagemma aborde les hallucinations AI avec des données réelles

Les grands modèles de langage (LLMs) sont au cœur des avancées en IA d’aujourd’hui, capables de parcourir d’immenses ensembles de données textuelles pour produire des résumés, stimuler des idées créatives et même écrire du code. Cependant, malgré leurs prouesses, ces modèles peuvent parfois fournir des informations totalement erronées, un problème que nous appelons « hallucination ». C’est un obstacle majeur dans le monde de l’IA générative.

Nous sommes ravis de partager des recherches de pointe qui s’attaquent directement à ce problème, visant à réduire les hallucinations en ancrant les LLMs dans des statistiques du monde réel. Et nous sommes enthousiastes à l’idée de présenter DataGemma, les premiers modèles ouverts qui relient les LLMs à une abondance de données réelles provenant de Data Commons de Google.

Data Commons : un trésor de données fiables

Data Commons est comme une immense bibliothèque de données publiques en constante expansion, avec plus de 240 milliards de points de données sur des sujets allant de la santé à l’économie. Ces informations proviennent de sources fiables comme l’ONU, l’OMS, le CDC et les bureaux de recensement. En fusionnant ces ensembles de données dans un outil puissant et des modèles d’IA, Data Commons aide les décideurs, chercheurs et organisations à obtenir des informations précises dont ils ont besoin.

Imaginez une vaste base de données où vous pouvez poser des questions en français simple, comme quels pays africains ont connu la plus forte augmentation de l’accès à l’électricité, ou comment le revenu est lié au diabète dans les comtés des États-Unis. C’est Data Commons.

Comment Data Commons aide à combattre les hallucinations

Alors que de plus en plus de personnes se tournent vers l’IA générative, nous travaillons à rendre ces expériences plus ancrées en intégrant Data Commons à Gemma, notre famille de modèles ouverts légers et performants. Ces modèles DataGemma sont désormais disponibles pour les chercheurs et développeurs.

DataGemma renforce les capacités de Gemma en exploitant les connaissances de Data Commons, utilisant deux méthodes innovantes pour améliorer la précision et le raisonnement des LLMs :

1. RIG (Retrieval-Interleaved Generation) améliore notre modèle Gemma 2 en vérifiant activement les faits par rapport à Data Commons. Lorsque vous posez une question à DataGemma, il recherche des données statistiques dans Data Commons pour fournir une réponse solide. Bien que RIG ne soit pas une idée nouvelle, la manière dont nous l’utilisons dans DataGemma est assez unique.

   Exemple de requête : « L’utilisation des énergies renouvelables a-t-elle augmenté dans le monde ? » en appliquant la méthodologie RIG de DataGemma, qui exploite Data Commons (DC) pour des données fiables.

2. RAG (Retrieval-Augmented Generation) permet aux modèles de langage de récupérer des informations supplémentaires au-delà de leur entraînement, rendant leurs réponses plus riches et précises. Avec DataGemma, nous utilisons la longue fenêtre de contexte de Gemini 1.5 Pro pour extraire des données pertinentes de Data Commons avant que le modèle ne commence à formuler sa réponse, réduisant ainsi les hallucinations.

   Exemple de requête : « L’utilisation des énergies renouvelables a-t-elle augmenté dans le monde ? » en appliquant la méthodologie RAG de DataGemma, qui démontre un meilleur raisonnement et l’inclusion de notes de bas de page.

Résultats prometteurs et perspectives

Nos premiers tests avec RIG et RAG sont encourageants. Nous constatons une meilleure précision dans nos modèles lorsqu’il s’agit de chiffres, ce qui signifie moins d’hallucinations pour ceux qui utilisent ces modèles pour la recherche, la prise de décision ou simplement pour satisfaire leur curiosité. Vous pouvez consulter ces résultats dans notre article de recherche.