LLM中有什么？ AI2 olmotrace将“追踪”来源

了解大型语言模型（LLM）的输出及其培训数据之间的连接一直是企业IT的难题。本周，艾伦AI研究所（AI2）发起了一项令人兴奋的新开源计划，名为Olmotrace，旨在揭开这种关系。通过允许用户将LLM输出回到其原始培训数据中，Olmotrace解决了AI I AI采用的最大障碍之一：AI决策过程中缺乏透明度。

代表开放语言模型的Olmo是AI2开源LLM家族的名称。您可以在AI2的游乐场网站上使用最新的Olmo 2 32B型号尝试Olmotrace。另外，开源代码可以在GitHub上抢购，因此任何人都可以自由使用。

与其他方法（例如那些专注于置信度分数或检索效果的生成的方法）不同的是，Olmotrace的原因是，它可以清楚地了解模型输出与塑造它们的庞大培训数据集的关系。 AI2的研究人员Jicheng Liu告诉VentureBeat，“我们的目标是帮助用户了解语言模型为什么会产生他们的响应。”

olmotrace的工作原理：不仅仅是引用

尽管LLM像困惑或ChatGpt搜索可以提供来源引用，但它们的运作方式与Olmotrace的操作不同。根据刘的说法，这些模型使用检索功能增强的生成（RAG），旨在通过纳入培训数据以外的其他来源来增强模型输出质量。另一方面，Olmotrace将模型的输出直接追溯到训练语料库，而无需依赖抹布或外部文档。

该工具在模型输出中标识独特的文本序列，并将它们与培训数据中的特定文档匹配。当发现比赛时，Olmotrace不仅突出了相关文本，而且还提供了指向原始材料的链接。这使用户可以准确查看模型如何学习其使用的信息。

超出信心分数：AI决策的切实证据

LLM通常根据模型权重生成输出，该输出用于计算置信度评分。分数越高，所谓的输出越准确。但是，刘认为这些分数可能是误导的。他解释说：“模型可以过分自信它们产生的东西，如果您要求它们产生分数，通常会被夸大。” “这就是学者所说的校准错误 - 模型输出的信心并不总是反映出他们的响应的真正准确性。”

Olmotrace并没有依靠潜在的误导分数，而是直接证明了该模型的学习来源，从而使用户可以做出明智的判断。刘说：“ Olmotrace的作用是向您展示模型输出与培训文件之间的匹配。” “通过界面，您可以直接查看匹配点的位置以及模型输出如何与培训文档一致。”

olmotrace与其他透明度方法的比较

AI2不是唯一一个更好地了解LLM输出的组织。人类也进行了研究，但他们的重点是该模型的内部操作而不是其数据。刘强调了这样的区别：“我们正在采用与他们不同的方法。我们直接追溯到模型行为，他们的训练数据，而不是将事物追溯到模型神经元，内部电路等。”

这种方法使Olmotrace对于企业应用程序更加实用，因为它不需要对神经网络体系结构的深入了解来了解结果。

企业AI应用程序：从监管合规性到模型调试

对于在医疗保健，金融或法律服务等监管部门部署AI的企业，Olmotrace比传统的黑盒系统提供了重大好处。刘说：“我们认为Olmotrace将帮助企业和业务用户更好地了解模型培训中使用的内容，以便他们在想建立自己的顶部时会更加自信。” “这可以有助于提高模型之间的透明度和信任，以及对其模型行为的客户。”

该技术为企业AI团队提供了几个关键功能：

• 针对原始资源的事实检查模型输出
• 了解幻觉的起源
• 通过识别有问题的模式来改善模型调试
• 通过数据可追溯性增强法规合规性
• 通过提高透明度与利益相关者建立信任

AI2团队已经充分利用了Olmotrace。刘说：“我们已经在使用它来改善培训数据。” “当我们建造Olmo 2并通过Olmotrace开始培训时，我们发现实际上一些培训后数据不好。”

这对企业AI采用意味着什么

对于旨在成为AI采用最前沿的企业，Olmotrace标志着对更负责任的AI系统的重大进步。该工具可在Apache 2.0开源许可下获得，这意味着任何具有其模型培训数据访问的组织都可以实现相似的跟踪功能。

Liu指出：“只要您拥有模型的培训数据，Olmotrace就可以在任何模型上使用。” “对于每个人都可以访问该模型的培训数据的完全开放模型，任何人都可以为该模型和专有模型设置Olmotrace，也许有些提供商不想发布他们的数据，他们也可以在内部进行此Olmotrace。”

随着全球AI治理框架的发展，启用验证和可审核性的Olmotrace之类的工具可能会成为企业AI堆栈的关键组成部分，尤其是在越来越需要透明度的监管行业中。对于考虑AI采用的利弊的技术决策者，Olmotrace提供了一种实用的方法来实施更值得信赖和可解释的AI系统，而不会损害大型语言模型的力量。