人工智能验证：通过知识图谱对 LLM 进行事实核查

人工智能能否真正区分事实与虚构？本文探讨了人工智能在事实验证这一重要任务中的能力和局限性。我们探讨了为提高人工智能验证信息的能力而开发的创新技术，重点是知识图谱、图神经网络（GNN）和检索增强生成（RAG）架构的应用。从简单明了的单一声明验证到错综复杂的多方面分析，我们探讨了人工智能如何努力实现精确性并抵制虚假信息的传播。

主要启示

新兴的人工智能事实核查模型面临着巨大的挑战，包括编造不存在的信息来源的倾向。

知识图谱为人工智能提供了一个结构化的信息框架，从而提高了准确性。

图神经网络（GNN）有助于进行高级推理和关系提取，从而实现更复杂的事实核查。

RAG 架构通过整合外部知识来提高大型语言模型的准确性。

这些方法的结合旨在加强人工智能在复杂文本内容中辨别真假的能力。

人工智能事实核查的挑战

当前人工智能模型在验证真相方面的局限性

虽然人工智能在众多领域都取得了长足的进步，但其确定信息真实性的能力仍在不断发展。一个主要的障碍是人工智能模型容易产生 "幻觉 "或编造引文，创建实际上并不存在的参考来源。

这个问题从根本上损害了人工智能模型作为事实核查工具的可靠性。

大型语言模型（LLM）显示出巨大的潜力，但仍然容易出错，尤其是在处理冗长或复杂的内容时。LLM 可能会误解微妙之处，遗漏细微的虚假内容，或者缺乏某些验证所需的广泛背景知识。这些局限性往往要求对模型进行改进，从而导致越来越复杂的系统来应对错误信息的挑战--这一过程既耗费计算资源，又是资源密集型的。

人工智能的作用：不仅是代码或科学，更是投资

这段视频提出了一个观点，即人工智能的核心并非纯粹的科学或技术，而在很大程度上是由其作为高利润投资的地位所驱动的。

这一发人深省的观点暗示，投资资本的动态经常会引导人工智能的发展，硅谷和美国经济的很大一部分都依赖于人工智能的增长。这种关注可能会优先考虑盈利，而不是追求客观准确性。由于人工智能主要是全球投资者盈利的工具，因此经济动机在很大程度上影响着复杂文本事实核查的研究方向。人工智能要想成为真正可靠的真相仲裁者，就必须在商业动机和对事实完整性的承诺之间取得平衡。这就提出了一个关键问题：人工智能是否真的有能力可靠地判定某一陈述是否属实？

加强人工智能的事实核查：知识图谱的作用

知识图谱的结构化知识

视频强调了知识图谱在提高人工智能事实核查能力方面的重要性。

知识图谱为人工智能模型提供了一个结构化、相互关联的框架，提供了重要的上下文信息。通过映射各种实体之间的关系，这些图谱使人工智能系统能够查询各种联系，验证陈述的真实性，并探索历史准确性。

主要优势包括

• 数据组织：知识图谱系统地排列事实及其相互关系，使人工智能算法可以随时获得这些信息。
• 推理：相互关联的结构允许人工智能进行逻辑推理，发现数据中的不一致之处。
• 语境理解：人工智能可以更深入、更细致地了解索赔的相关背景，从而进行更精确的评估。

GNN 和 RAG：提升事实核查能力

为了解决来源幻觉等问题并改进关系提取，视频建议整合图神经网络（GNN）和检索增强生成（RAG）架构。

这些都是初创公司目前提供的先进人工智能模型，用于验证单个数据点或简单关系。

• 图神经网络：GNN 专门用于处理结构为图的数据。它们擅长解读复杂关系和执行复杂的推理任务。虽然 RAG 系统也容易产生来源幻觉，但 GNN 可在一定程度上减少这些错误。
• 检索增强生成：RAG 系统可从外部知识库中获取相关文档和数据，从而扩大人工智能的信息获取范围。这一补充过程减少了对人工智能内部预先训练好的知识的依赖，从而降低了出现幻觉的频率。这一策略旨在系统地解决未来人工智能的知识缺口问题。

与法学硕士一起检查事实：深入了解 OpenAI 的深度研究

OpenAI 深度研究

主讲人使用了 OpenAI 推出的一款名为 "深度研究 "的工具，该工具通过聚合变换器和知识图谱等各种人工智能模型的信息来进行自动研究，重点评估逻辑一致性和历史准确性。

该服务专门搜索基于变换器的文本一致性验证和多代理对抗事实检查方法等主题。

深度研究准确吗？

演示者在视频中进行了一次试运行，仔细观察了人工智能的搜索查询，以验证它是否正确执行了请求。

在演示过程中，人工智能搜索到了大量过时的参考资料，并不完全符合所要求的最近性标准。这清楚地表明，虽然 LLM 是收集初步研究数据的重要工具，但在最终审查和验证阶段，人工监督仍然至关重要。

人工智能事实核查：权衡利弊

优点

具有大规模扩展和高速处理的潜力

分析庞大数据集的能力

有可能减少评估中固有的人为偏见

可有效增强和支持人工事实核查工作

缺点

容易产生虚假信息和被误导

基于现有训练数据和算法设计的固有局限性

普遍缺乏现实世界的常识和直观理解

难以准确处理高度复杂或细微的主题

常见问题

为什么人工智能不擅长事实核查？

人工智能模型在事实核查方面面临着一些障碍，例如它们对训练数据集的固有依赖、缺乏对真实世界的真正理解，以及产生捏造信息（一种被称为 "幻觉 "的现象）的明显倾向。

所有排名靠前的搜索结果都是事实吗？

肯定不是。真正的事实核查远不止审查搜索引擎结果。它需要验证逻辑的一致性，确保符合既定的科学原则，并评估实验或理论主张的有效性。此外，新闻核实程序对于评估新闻报道中的主张也是至关重要的，因为新闻报道中的主张往往可能存在偏见、误导性或缺乏适当的上下文。

为什么不一开始就使用外部数据呢？

大型语言模型要想进行深入、可靠的推理，就必须能够浏览庞大的知识库，并将这些知识与现有的程序整合起来，以解决错综复杂的问题。随后，应用科学或计算验证方法有助于提供稳健的解决方案。

相关问题

什么是检索增强？

检索增强是一种增强语言模型的方法，使其能够在生成响应阶段访问和利用外部数据库或来源的信息。模型检索到这些最新知识后，就能生成信息量更大、更准确的回复。这种方法在特定的主张需要可靠的证据文件来证实时尤其有价值。此外，通过检索增强，LLM 可以使用各种技术与搜索数据或特定数据库对接，包括直接链接和用于检索增强生成的专门框架。