LLM中有什麼？ AI2 olmotrace將“追踪”來源

理解大型語言模型（LLM）的輸出與其訓練數據之間的聯繫，對於企業IT來說一直是一個難題。本週，Allen Institute for AI（Ai2）推出了一個令人振奮的開源計劃，名為OLMoTrace，旨在解開這一關係的神秘面紗。通過允許用戶追溯LLM輸出到其原始訓練數據，OLMoTrace解決了企業AI採用的一大障礙：AI決策過程的透明度不足。

OLMo，全名為Open Language Model，是Ai2的開源LLM系列名稱。你可以在Ai2的Playground網站上試用最新的OLMo 2 32B模型來體驗OLMoTrace。此外，開源代碼已在GitHub上公開，任何人都可以自由使用。

OLMoTrace與其他方法（如專注於置信度分數或檢索增強生成）不同之處在於，它提供了模型輸出與塑造它們的龐大訓練數據集之間的清晰視圖。Ai2的研究員劉家誠對VentureBeat表示：「我們的目標是幫助用戶理解語言模型為何生成這樣的回應。」

OLMoTrace的運作方式：不僅僅是引用

雖然像Perplexity或ChatGPT Search這樣的LLM可以提供來源引用，但它們的運作方式與OLMoTrace不同。據劉家誠介紹，這些模型使用檢索增強生成（RAG），旨在通過納入訓練數據之外的額外來源來提升模型輸出質量。另一方面，OLMoTrace直接將模型輸出追溯到訓練語料庫，無需依賴RAG或外部文件。

該工具識別模型輸出中的獨特文本序列，並將其與訓練數據中的特定文件進行匹配。當找到匹配時，OLMoTrace不僅高亮顯示相關文本，還提供原始來源材料的鏈接。這讓用戶可以清楚看到模型從何處以及如何學習到它所使用的信息。

超越置信度分數：AI決策的具體證據

LLM通常基於模型權重生成輸出，用於計算置信度分數。分數越高，輸出理論上越準確。然而，劉家誠認為這些分數可能具有誤導性。他解釋說：「模型可能對它們生成的內容過於自信，如果你要求它們生成一個分數，通常會被誇大。這就是學術界所謂的校準錯誤——模型輸出的置信度並不總是反映其回應的實際準確性。」

與其依賴可能誤導的分數，OLMoTrace提供模型學習來源的直接證據，讓用戶能夠做出明智的判斷。劉家誠說：「OLMoTrace展示的是模型輸出與訓練文件之間的匹配。通過界面，你可以直接看到匹配點在哪裡，以及模型輸出如何與訓練文件相吻合。」

OLMoTrace與其他透明度方法的比較

Ai2並不是唯一致力於更好理解LLM輸出的組織。Anthropic也進行了研究，但他們的重點在於模型的內部運作而非其數據。劉家誠強調了差異：「我們採取了與他們不同的方法。我們直接追溯模型行為及其訓練數據，而不是追溯模型神經元、內部電路之類的東西。」

這種方法使OLMoTrace在企業應用中更實用，因為理解結果無需深入了解神經網絡架構。

企業AI應用：從法規遵循到模型調試

對於在醫療、金融或法律服務等受監管行業部署AI的企業，OLMoTrace相較於傳統黑箱系統提供了顯著優勢。劉家誠表示：「我們認為OLMoTrace將幫助企業和商業用戶更好地理解模型訓練中使用的內容，從而在構建模型時更有信心。這有助於提升他們對模型及其模型行為的客戶之間的透明度和信任。」

該技術為企業AI團隊提供了幾項關鍵功能：

• 對照原始來源進行模型輸出的事實核查
• 理解幻覺的來源
• 通過識別問題模式改進模型調試
• 通過數據可追溯性增強法規遵循
• 通過提高透明度與利益相關者建立信任

Ai2團隊已經充分利用了OLMoTrace。劉家誠透露：「我們已經用它來改善我們的訓練數據。當我們構建OLMo 2並開始訓練時，通過OLMoTrace，我們發現其實一些後期訓練數據並不好。」

這對企業AI採用的意義

對於旨在領先AI採用的企業，OLMoTrace標誌著朝著更負責任的AI系統邁出了重要一步。該工具採用Apache 2.0開源許可，意味著任何擁有模型訓練數據的組織都可以實現類似的追溯功能。

劉家誠指出：「只要你有模型的訓練數據，OLMoTrace就可以應用於任何模型。對於完全開放的模型，任何人都可以為該模型設置OLMoTrace；而對於專有模型，一些提供者可能不願意公開數據，他們也可以在內部進行OLMoTrace。」

隨著全球AI治理框架的演進，像OLMoTrace這樣能夠實現驗證和審計的工具，可能成為企業AI堆棧的關鍵組件，特別是在透明度日益要求的受監管行業。對於考慮AI採用利弊的技術決策者，OLMoTrace提供了一個實用的方法來實施更可信、更可解釋的AI系統，同時不影響大型語言模型的強大功能。