Datagemma使用現實世界數據處理AI幻覺

大型語言模型（LLMs）是當今AI突破的核心，能夠篩選海量文本數據集，生成摘要、激發創意，甚至撰寫程式碼。然而，儘管其能力強大，這些模型有時會提供完全錯誤的資訊，這一問題被稱為「幻覺」。這是生成式AI世界中的一大障礙。

我們很高興分享一些前沿研究，這些研究正面解決此問題，旨在通過將LLMs與現實世界的統計數據結合，減少幻覺。我們也興奮地介紹DataGemma，這是首個將LLMs與Google的Data Commons豐富現實數據連結的開放模型。

Data Commons：可信數據的寶庫

Data Commons就像一個不斷擴展的公共數據巨型圖書館，擁有超過2400億個數據點，涵蓋從健康到經濟的各種主題。它從聯合國、世界衛生組織、疾病控制中心和人口普查局等可靠性來源收集這些資訊。通過將這些數據集整合成單一、強大的工具集和AI模型，Data Commons幫助政策制定者、研究人員和組織獲得所需的精確洞察。

想像一個龐大的數據庫，你可以用簡單的英文提問，例如哪些非洲國家電力普及率增長最快，或美國各郡的收入與糖尿病有何關聯。這就是Data Commons的魅力。

Data Commons如何幫助對抗幻覺

隨著越來越多的人轉向生成式AI，我們致力於通過將Data Commons融入我們的輕量級頂尖開放模型家族Gemma，使這些體驗更加扎實。這些DataGemma模型現已開放供研究人員和開發者使用。

DataGemma通過利用Data Commons的知識，提升了Gemma的能力，使用兩種方法來提高LLMs的準確性和推理能力：

1. RIG（檢索交錯生成）通過主動對照Data Commons的數據檢查事實，增強了我們的Gemma 2模型。當你向DataGemma提問時，它會從Data Commons中搜尋統計數據，提供堅實的答案。雖然RIG不是新概念，但我們在DataGemma中使用它的方式相當特別。

   範例查詢：「全球可再生能源使用量增加嗎？」應用DataGemma RIG方法利用Data Commons（DC）提供權威數據。

2. RAG（檢索增強生成）讓語言模型提取超出其訓練範圍的額外資訊，使回答更豐富、更準確。透過DataGemma，我們利用Gemini 1.5 Pro的長上下文窗口，在模型生成回答前從Data Commons獲取相關數據，減少幻覺。

   範例查詢：「全球可再生能源使用量增加嗎？」應用DataGemma RAG方法展示更強的推理能力和腳註包含。

令人振奮的成果與未來展望

我們的RIG和RAG初步測試結果良好。我們的模型在處理數字時展現出更高的準確性，這意味著研究、決策或僅出於好奇心使用這些模型的人將遇到更少的幻覺。你可以在我們的研究論文中查看這些結果。