Datagemma使用现实世界数据处理AI幻觉

大型语言模型(LLMs)是当今AI突破的核心,能够筛选海量文本数据集,生成摘要、激发创意,甚至编写代码。然而,尽管它们能力强大,这些模型有时会提供完全错误的信息,我们称之为“幻觉”。这是生成式AI领域的一大障碍。
我们很高兴分享一些前沿研究,直接解决这一问题,通过将LLMs与现实世界的统计数据结合,旨在减少幻觉。我们激动地介绍DataGemma,这是首个将LLMs与Google的Data Commons海量现实数据连接的开源模型。
Data Commons:值得信赖的数据宝库
Data Commons就像一个不断扩展的公共数据巨型图书馆,拥有超过2400亿个数据点,涵盖从健康到经济的各个方面。它从联合国、世界卫生组织、疾病控制中心和人口普查局等可靠来源获取信息。通过将这些数据集整合成一个强大的工具集和AI模型,Data Commons帮助政策制定者、研究人员和组织获得所需的准确洞察。
想象一个庞大的数据库,你可以用简单的中文提问,比如哪些非洲国家电力普及率增长最快,或者美国各县的收入与糖尿病的关系如何。这就是Data Commons的魅力。
Data Commons如何帮助对抗幻觉
随着越来越多的人使用生成式AI,我们致力于通过将Data Commons融入Gemma(我们轻量级、顶尖的开源模型家族),使这些体验更加可靠。这些DataGemma模型现已向研究人员和开发者开放。
DataGemma通过利用Data Commons的知识,采用两种独特方法提升LLMs的准确性和推理能力:
RIG(检索交错生成)通过主动对比Data Commons的数据,增强了我们的Gemma 2模型。当你向DataGemma提问时,它会从Data Commons中检索统计数据,提供可靠的答案。虽然RIG不是新概念,但我们在DataGemma中的应用方式相当独特。
示例查询:“全球可再生能源使用量增加了吗?”应用DataGemma RIG方法利用Data Commons(DC)提供权威数据。
RAG(检索增强生成)让语言模型在训练数据之外引入额外信息,使回答更丰富、更准确。借助DataGemma,我们利用Gemini 1.5 Pro的长上下文窗口,在模型生成回答前从Data Commons获取相关数据,减少幻觉。
示例查询:“全球可再生能源使用量增加了吗?”应用DataGemma RAG方法展示更强的推理能力和脚注包含。
初步成果与未来展望
我们在RIG和RAG的早期测试表现良好。模型在处理数字时准确性提高,意味着研究、决策或满足好奇心的用户会遇到更少的幻觉。你可以在我们的研究论文中查看这些结果。
RAG查询与响应的示例。支持的真实统计数据以表格形式从Data Commons提供。*为简洁起见,仅显示部分响应。
我们不会止步于此。我们全力以赴优化这些方法,扩大努力,并进行更多测试。最终,我们将把这些改进推广到Gemma和Gemini模型,从有限访问阶段开始。
通过分享研究和开放这一新Gemma模型变体,我们希望广泛推广基于Data Commons的技术。让LLMs更可靠、值得信赖,是将其变成每个人重要工具的关键,有助于构建一个AI提供准确信息、支持明智选择、加深世界理解的未来。
研究人员和开发者可以通过我们的RIG和RAG快速入门笔记本立即使用DataGemma。想深入了解Data Commons与Gemma如何协作,请查看我们的研究帖子。
相关文章
谷歌AI概述在搜索结果中占据更多席位
根据Similarweb发布的《2026年生成式AI行业概况》报告,谷歌的AI生成的摘要出现在43%的美国搜索结果中,较一年前的15%显著上升。虽然“AI概览”会在标准搜索结果中展示生成的摘要,但“AI模式”则为复杂的查询和后续提示提供了对话式界面。用户可以在不丢失初始搜索上下文的情况下,从“AI概览”切换到“AI模式”。谷歌解释称,“AI模式”采用了一种名为“查询扇出”(query fan-ou
红杉资本投资的Empirik筹集2100万美元,用于在故障发生前进行预测
在2020年加入红杉资本担任首席数字与信息官之前,阿文·普里曾在Rubrik和VMware负责基础设施管理工作长达十余年。 三年前,当大型语言模型开始展现其真正潜力时,普里与红杉资本的另一位IT负责人苏迪尔·杜尔贾蒂(Sudheer Dhurjati)意识到,人工智能能够帮助自主解决基础设施工程师面临的一大挑战——在技术故障发生前就加以预防。这两位技术界资深人士意识到,与其在系统故障发生后被动应对
ElevenLabs 引入 BlackRock、杰米·福克斯和洛琳加作为新投资者
ElevenLabs,语音人工智能领域的领军企业,宣布了其5亿美元D轮融资的新增参与者,该轮融资最初于2月公布。目前投资者名单包括黑石集团(BlackRock)、惠灵顿管理公司(Wellington)、D.E. Shaw和施罗德投资(Schroders)等主要机构,以及英伟达(NVIDIA)、Salesforce、桑坦德银行(Santander)、荷兰皇家电信(KPN)和德国电信(Deutsche Telekom)等战略企业支持者。加入本轮融资的知名个人投资者包括演员杰米·福克斯(Jamie F
相关专题推荐
评论 (42)
0/500
Interesting approach! Using real-world data to ground the model seems like a practical step beyond just scaling parameters. Hope it doesn't just trade hallucinations for boring, overly-cautious outputs though. The 'Gemma' naming trend continues! 🤔
Finally! A real solution to AI hallucinations? DataGemma sounds promising, but I'm honestly a bit skeptical. 🤔 How do they ensure the "real-world data" isn't biased itself? Would love to see a breakdown of their methodology compared to other approaches like Retrieval-Augmented Generation.
Me pregunto si DataGemma realmente podrá resolver el problema de las alucinaciones en IA. Parece prometedor, pero ya hemos visto muchas soluciones 'milagrosas' que luego no cumplen. Ojalá esta vez sea diferente, porque los errores en los modelos actuales pueden ser bastante graves 😅
This article on DataGemma is super intriguing! It's wild how LLMs can churn out so much but still trip up on facts sometimes. 😅 Makes me wonder if grounding them in real-world data could finally make AI as reliable as we hope!

大型语言模型(LLMs)是当今AI突破的核心,能够筛选海量文本数据集,生成摘要、激发创意,甚至编写代码。然而,尽管它们能力强大,这些模型有时会提供完全错误的信息,我们称之为“幻觉”。这是生成式AI领域的一大障碍。
我们很高兴分享一些前沿研究,直接解决这一问题,通过将LLMs与现实世界的统计数据结合,旨在减少幻觉。我们激动地介绍DataGemma,这是首个将LLMs与Google的Data Commons海量现实数据连接的开源模型。
Data Commons:值得信赖的数据宝库
Data Commons就像一个不断扩展的公共数据巨型图书馆,拥有超过2400亿个数据点,涵盖从健康到经济的各个方面。它从联合国、世界卫生组织、疾病控制中心和人口普查局等可靠来源获取信息。通过将这些数据集整合成一个强大的工具集和AI模型,Data Commons帮助政策制定者、研究人员和组织获得所需的准确洞察。
想象一个庞大的数据库,你可以用简单的中文提问,比如哪些非洲国家电力普及率增长最快,或者美国各县的收入与糖尿病的关系如何。这就是Data Commons的魅力。
Data Commons如何帮助对抗幻觉
随着越来越多的人使用生成式AI,我们致力于通过将Data Commons融入Gemma(我们轻量级、顶尖的开源模型家族),使这些体验更加可靠。这些DataGemma模型现已向研究人员和开发者开放。
DataGemma通过利用Data Commons的知识,采用两种独特方法提升LLMs的准确性和推理能力:
RIG(检索交错生成)通过主动对比Data Commons的数据,增强了我们的Gemma 2模型。当你向DataGemma提问时,它会从Data Commons中检索统计数据,提供可靠的答案。虽然RIG不是新概念,但我们在DataGemma中的应用方式相当独特。
示例查询:“全球可再生能源使用量增加了吗?”应用DataGemma RIG方法利用Data Commons(DC)提供权威数据。 RAG(检索增强生成)让语言模型在训练数据之外引入额外信息,使回答更丰富、更准确。借助DataGemma,我们利用Gemini 1.5 Pro的长上下文窗口,在模型生成回答前从Data Commons获取相关数据,减少幻觉。
示例查询:“全球可再生能源使用量增加了吗?”应用DataGemma RAG方法展示更强的推理能力和脚注包含。
初步成果与未来展望
我们在RIG和RAG的早期测试表现良好。模型在处理数字时准确性提高,意味着研究、决策或满足好奇心的用户会遇到更少的幻觉。你可以在我们的研究论文中查看这些结果。
通过分享研究和开放这一新Gemma模型变体,我们希望广泛推广基于Data Commons的技术。让LLMs更可靠、值得信赖,是将其变成每个人重要工具的关键,有助于构建一个AI提供准确信息、支持明智选择、加深世界理解的未来。
研究人员和开发者可以通过我们的RIG和RAG快速入门笔记本立即使用DataGemma。想深入了解Data Commons与Gemma如何协作,请查看我们的研究帖子。
谷歌AI概述在搜索结果中占据更多席位
根据Similarweb发布的《2026年生成式AI行业概况》报告,谷歌的AI生成的摘要出现在43%的美国搜索结果中,较一年前的15%显著上升。虽然“AI概览”会在标准搜索结果中展示生成的摘要,但“AI模式”则为复杂的查询和后续提示提供了对话式界面。用户可以在不丢失初始搜索上下文的情况下,从“AI概览”切换到“AI模式”。谷歌解释称,“AI模式”采用了一种名为“查询扇出”(query fan-ou
红杉资本投资的Empirik筹集2100万美元,用于在故障发生前进行预测
在2020年加入红杉资本担任首席数字与信息官之前,阿文·普里曾在Rubrik和VMware负责基础设施管理工作长达十余年。 三年前,当大型语言模型开始展现其真正潜力时,普里与红杉资本的另一位IT负责人苏迪尔·杜尔贾蒂(Sudheer Dhurjati)意识到,人工智能能够帮助自主解决基础设施工程师面临的一大挑战——在技术故障发生前就加以预防。这两位技术界资深人士意识到,与其在系统故障发生后被动应对
ElevenLabs 引入 BlackRock、杰米·福克斯和洛琳加作为新投资者
ElevenLabs,语音人工智能领域的领军企业,宣布了其5亿美元D轮融资的新增参与者,该轮融资最初于2月公布。目前投资者名单包括黑石集团(BlackRock)、惠灵顿管理公司(Wellington)、D.E. Shaw和施罗德投资(Schroders)等主要机构,以及英伟达(NVIDIA)、Salesforce、桑坦德银行(Santander)、荷兰皇家电信(KPN)和德国电信(Deutsche Telekom)等战略企业支持者。加入本轮融资的知名个人投资者包括演员杰米·福克斯(Jamie F
Interesting approach! Using real-world data to ground the model seems like a practical step beyond just scaling parameters. Hope it doesn't just trade hallucinations for boring, overly-cautious outputs though. The 'Gemma' naming trend continues! 🤔
Finally! A real solution to AI hallucinations? DataGemma sounds promising, but I'm honestly a bit skeptical. 🤔 How do they ensure the "real-world data" isn't biased itself? Would love to see a breakdown of their methodology compared to other approaches like Retrieval-Augmented Generation.
Me pregunto si DataGemma realmente podrá resolver el problema de las alucinaciones en IA. Parece prometedor, pero ya hemos visto muchas soluciones 'milagrosas' que luego no cumplen. Ojalá esta vez sea diferente, porque los errores en los modelos actuales pueden ser bastante graves 😅
This article on DataGemma is super intriguing! It's wild how LLMs can churn out so much but still trip up on facts sometimes. 😅 Makes me wonder if grounding them in real-world data could finally make AI as reliable as we hope!





首页






