LLM中有什麼？ AI2 olmotrace將“追踪”來源

了解大型語言模型（LLM）的輸出及其培訓數據之間的連接一直是企業IT的難題。本週，艾倫AI研究所（AI2）發起了一項令人興奮的新開源計劃，名為Olmotrace，旨在揭開這種關係。通過允許用戶將LLM輸出回到其原始培訓數據中，Olmotrace解決了AI I AI採用的最大障礙之一：AI決策過程中缺乏透明度。

代表開放語言模型的Olmo是AI2開源LLM家族的名稱。您可以在AI2的遊樂場網站上使用最新的Olmo 2 32B型號嘗試Olmotrace。另外，開源代碼可以在GitHub上搶購，因此任何人都可以自由使用。

與其他方法（例如那些專注於置信度分數或檢索效果的生成的方法）不同的是，Olmotrace的原因是，它可以清楚地了解模型輸出與塑造它們的龐大培訓數據集的關係。 AI2的研究人員Jicheng Liu告訴VentureBeat，“我們的目標是幫助用戶了解語言模型為什麼會產生他們的響應。”

olmotrace的工作原理：不僅僅是引用

儘管LLM像困惑或ChatGpt搜索可以提供來源引用，但它們的運作方式與Olmotrace的操作不同。根據劉的說法，這些模型使用檢索功能增強的生成（RAG），旨在通過納入培訓數據以外的其他來源來增強模型輸出質量。另一方面，Olmotrace將模型的輸出直接追溯到訓練語料庫，而無需依賴抹布或外部文檔。

該工具在模型輸出中標識獨特的文本序列，並將它們與培訓數據中的特定文檔匹配。當發現比賽時，Olmotrace不僅突出了相關文本，而且還提供了指向原始材料的鏈接。這使用戶可以準確查看模型如何學習其使用的信息。

超出信心分數：AI決策的切實證據

LLM通常根據模型權重生成輸出，該輸出用於計算置信度評分。分數越高，所謂的輸出越準確。但是，劉認為這些分數可能是誤導的。他解釋說：“模型可以過分自信它們產生的東西，如果您要求它們產生分數，通常會被誇大。” “這就是學者所說的校準錯誤 - 模型輸出的信心並不總是反映出他們的響應的真正準確性。”

Olmotrace並沒有依靠潛在的誤導分數，而是直接證明了該模型的學習來源，從而使用戶可以做出明智的判斷。劉說：“ Olmotrace的作用是向您展示模型輸出與培訓文件之間的匹配。” “通過界面，您可以直接查看匹配點的位置以及模型輸出如何與培訓文檔一致。”

olmotrace與其他透明度方法的比較

AI2不是唯一一個更好地了解LLM輸出的組織。人類也進行了研究，但他們的重點是該模型的內部操作而不是其數據。劉強調了這樣的區別：“我們正在採用與他們不同的方法。我們直接追溯到模型行為，他們的訓練數據，而不是將事物追溯到模型神經元，內部電路等。”

這種方法使Olmotrace對於企業應用程序更加實用，因為它不需要對神經網絡體系結構的深入了解來了解結果。

企業AI應用程序：從監管合規性到模型調試

對於在醫療保健，金融或法律服務等監管部門部署AI的企業，Olmotrace比傳統的黑盒系統提供了重大好處。劉說：“我們認為Olmotrace將幫助企業和業務用戶更好地了解模型培訓中使用的內容，以便他們在想建立自己的頂部時會更加自信。” “這可以有助於提高模型之間的透明度和信任，以及對其模型行為的客戶。”

該技術為企業AI團隊提供了幾個關鍵功能：

• 針對原始資源的事實檢查模型輸出
• 了解幻覺的起源
• 通過識別有問題的模式來改善模型調試
• 通過數據可追溯性增強法規合規性
• 通過提高透明度與利益相關者建立信任

AI2團隊已經充分利用了Olmotrace。劉說：“我們已經在使用它來改善培訓數據。” “當我們建造Olmo 2並通過Olmotrace開始培訓時，我們發現實際上一些培訓後數據不好。”

這對企業AI採用意味著什麼

對於旨在成為AI採用最前沿的企業，Olmotrace標誌著對更負責任的AI系統的重大進步。該工具可在Apache 2.0開源許可下獲得，這意味著任何具有其模型培訓數據訪問的組織都可以實現相似的跟踪功能。

Liu指出：“只要您擁有模型的培訓數據，Olmotrace就可以在任何模型上使用。” “對於每個人都可以訪問該模型的培訓數據的完全開放模型，任何人都可以為該模型和專有模型設置Olmotrace，也許有些提供商不想發布他們的數據，他們也可以在內部進行此Olmotrace。”

隨著全球AI治理框架的發展，啟用驗證和可審核性的Olmotrace之類的工具可能會成為企業AI堆棧的關鍵組成部分，尤其是在越來越需要透明度的監管行業中。對於考慮AI採用的利弊的技術決策者，Olmotrace提供了一種實用的方法來實施更值得信賴和可解釋的AI系統，而不會損害大型語言模型的力量。