Datagemmaは、実際のデータを使用してAIの幻覚に取り組んでいます

大規模言語モデル（LLMs）は、今日のAIのブレークスルーの中心にあり、膨大なテキストデータセットを分析して要約を生成し、創造的なアイデアを生み出し、コードを書くことさえ可能です。しかし、その能力にもかかわらず、これらのモデルは時に完全に間違った情報を提供することがあり、これを「ハルシネーション」と呼びます。これは生成AIの世界における大きな課題です。

私たちはこの問題に正面から取り組む最先端の研究を共有できることを嬉しく思います。LLMsを現実世界の統計データに基づかせることで、ハルシネーションを抑えることを目指しています。そして、GoogleのData Commonsから豊富な現実世界のデータとLLMsをリンクする初のオープンモデル、DataGemmaを紹介します。

Data Commons：信頼できるデータの宝庫

Data Commonsは、2400億以上のデータポイントを持つ、公共データの巨大で成長し続けるライブラリのようなものです。健康から経済まで、あらゆる情報をUN、WHO、CDC、統計局などの信頼できる情報源から収集します。これらのデータセットを一つの強力なツールセットとAIモデルに統合することで、Data Commonsは政策立案者、研究者、組織が必要とする正確な洞察を提供します。

たとえば、アフリカのどの国が電力アクセスで最も大きな進展を遂げたか、または米国の郡ごとの収入と糖尿病の関係を、簡単な英語で質問できる巨大なデータベースを想像してください。それがData Commonsです。

Data Commonsがハルシネーション対策にどう役立つか

生成AIを利用する人が増える中、私たちはData CommonsをGemma（軽量で高性能なオープンモデルのファミリー）に組み込むことで、より信頼性の高い体験を提供しようとしています。これらのDataGemmaモデルは、研究者や開発者が利用できるようになりました。

DataGemmaは、Data Commonsの知識を活用してLLMsの精度と推論能力を向上させる2つの優れた手法を用いて、Gemmaの能力を強化します：

1. RIG（Retrieval-Interleaved Generation）は、Gemma 2モデルを強化し、Data Commonsに対して事実を積極的に検証します。DataGemmaに質問すると、Data Commonsから統計データを探し出し、確かな回答を提供します。RIGは新しいアイデアではありませんが、DataGemmaでの使用方法は非常に特別です。

   例のクエリ：「世界で再生可能エネルギーの使用は増えていますか？」DataGemma RIG手法を適用することで、Data Commons（DC）から信頼できるデータを活用します。

2. RAG（Retrieval-Augmented Generation）は、言語モデルがトレーニングデータ以外の追加情報を引き出し、より豊かで正確な回答を可能にします。DataGemmaでは、Gemini 1.5 Proの長いコンテキストウィンドウを使用して、モデルが回答を作成する前にData Commonsから関連データを取得し、ハルシネーションを減らします。

   例のクエリ：「世界で再生可能エネルギーの使用は増えていますか？」DataGemma RAG手法を適用することで、より高い推論能力と注釈の包含を示します。

有望な結果と今後の展望

RIGとRAGの初期テストは良好な結果を示しています。数値を扱う際のモデルの精度が向上し、研究、意思決定、または好奇心を満たすためにこれらのモデルを使用する人々のハルシネーションが減少しています。これらの結果は私たちの研究論文で確認できます。