企業 AI 標竿簡化：開放原始碼 RAG 架構提供科學化的效能指標

各家公司正投入大量資源開發檢索-擴增世代 (Retrieval-Augmented Generation，RAG) 系統，旨在打造精確的企業級 AI 解決方案。但這些系統的實際效能如何？

一個主要的障礙是缺乏客觀的 RAG 效能測量標準。今天推出的 Open RAG Eval 是 Vectara 與滑鐵盧大學 Jimmy Lin 教授研究團隊合作開發的開放原始碼架構，為這項挑戰找到了潛在的解決方案。

Open RAG Eval 以嚴謹、可測量的方法取代主觀的比較，用於評估企業 RAG 實作的檢索準確度、生成品質和幻覺率。

此架構透過兩個主要指標類別評估系統效能：檢索和生成指標。該框架可與 Vectara 的平台和定制 RAG 解決方案配合使用，為技術團隊提供系統化數據，以確定優化機會。

"測量先於改善，」Jimmy Lin 教授在獨家訪談中解釋。「雖然我們可以測量 NDCG、精確度和召回率等資訊檢索指標，但評估事實的正確性仍然是遙不可及的--這就是我們開始這個專案的原因。」

為什麼 RAG 評估仍是企業級 AI 的關鍵障礙？

Vectara 在 RAG 技术成为主流之前就率先推出了该技术--2022 年 10 月推出，2023 年 5 月推出 「接地气的 AI 」概念，以对抗幻觉。

隨著 RAG 實作越來越複雜 - 從簡單的問答演進到多代理系統，評估挑戰也隨之加劇。

"在代理環境中，評估變得加倍重要，」Vectara 執行長 Am Awadallah 指出。「早期階段的幻覺會在各個處理步驟中複合，可能導致最終輸出不正確」。

開放式 RAG Eval 方法：量化系統元件

該架構採用了基於金塊的評估方法，將回應解構成核心的事實要素。

Lin 描述了此方法如何分析系統擷取和呈現這些重要資訊小塊的能力。

四個特定的指標驅動評估：

1. 幻覺偵測 - 識別產生內容中無法證實的資訊
2. 引用準確性 - 評估來源文件的品質
3. Auto nugget - 測量重要資訊的包含程度
4. UMBRELA - 提供全面的檢索性能評估

此架構檢視整個 RAG 工作流程，揭示嵌入模型、檢索系統、分塊策略和 LLM 如何共同產生輸出。

關鍵創新：由 LLM 驅動的自動化

Open RAG Eval 的突破點在於透過精密的 LLM 整合，將過去的手動流程自動化。

"傳統的評估依賴於二元比較，」Lin 解釋道。"我們的自動化方法徹底改變了評估方法。

儘管以金塊為基礎的評估並不新鮮，但該框架透過 Python 驅動的 LLM 實作，能夠在結構化的評估管道中辨識事實和偵測幻覺。

評估生態系統定位

在 Hugging Face「s Yourbench 和 Galileo」s Agentic Evaluations 等人工智能評估框架不斷成長的同時，Open RAG Eval 專注於 RAG 管道，而非一般 LLM 輸出。

該架構建基於既有的資訊檢索科學，而非臨時方法，並延伸了 Vectara 的開放原始碼貢獻，包括廣為採用的 Hughes Hallucination Evaluation Model。

"Awadallah 強調：「我們特意將其命名為 Open RAG Eval，以鼓勵全產業的合作。「這個框架解決了標準化 RAG 評估的重要市場需求」。

實際執行

早期採用者包括 Anywhere.re 的 Jeff Hummel，他預期透過 Vectara 的合作可簡化評估流程。

Hummel 指出了涉及基礎設施複雜性和成本管理的擴展挑戰，強調了框架的預測基準功能。

"Hummel 承認：「沒有標準化的框架，我們非常依賴使用者的主觀回饋。「客觀的度量標準將改變我們的擴充方法」。

優化 RAG 實施

開放式 RAG Eval 有助於決策者解決關鍵的配置問題：

• 令牌分塊與語意分塊方法
• 混合搜尋實作考量
• LLM 選擇與提示最佳化
• 幻覺偵測閾值

該架構可實現迭代式、資料驅動式優化 - 建立基線、測試配置和衡量改進。未來版本可能會包含自動最佳化建議和性價比平衡工具。

對於不同 AI 成熟度等級的企業，Open RAG Eval 可提供科學的評估標準，取代猜測和主觀評估，有助於防止成本高昂的實施錯誤，同時推進 RAG 技術。