企業AIベンチマークの簡素化：オープンソースのRAGフレームワークが科学的なパフォーマンス指標を提供

企業は、正確なエンタープライズAIソリューションの構築を目指して、RAG（Retrieval-Augmented Generation）システムの開発に多大な資源を投入している。しかし、これらのシステムは現実にどれほど有効なのだろうか？

大きな障害となっているのは、RAGの有効性に関する客観的な測定基準がないことだ。この課題は、ベクタラとウォータールー大学のジミー・リン教授の研究チームが共同で開発したオープンソースのフレームワークであるOpen RAG Evalが本日発表されたことで、解決の可能性が見えてきた。

Open RAG Evalは、主観的な比較に代わって、企業のRAG実装全体の検索精度、生成品質、幻覚率を評価するための厳密で測定可能な方法論を提供します。

このフレームワークは、検索と生成のメトリクスという2つの主要な指標カテゴリーを通じて、システムのパフォーマンスを評価します。このフレームワークは、ベクトラ社のプラットフォームとカスタムRAGソリューションの両方に対応し、技術チームに最適化の機会を特定するための体系的なデータを提供する。

「ジミー・リン教授は独占インタビューで、「測定は改善に先立つものです。「NDCG、precision、recallのような情報検索指標を測定することはできても、事実の正しさを評価することはできませんでした。

RAG評価がエンタープライズAIにとって重要なハードルであり続ける理由

Vectaraは、RAG技術が主流になる前の先駆者であり、2022年10月にローンチし、2023年5月には幻覚に対抗するために「根拠のあるAI」のコンセプトを導入した。

RAGの実装が複雑化するにつれ、つまり単純なQ&Aからマルチエージェントシステムへと進化するにつれ、評価の課題は激化している。

「エージェント環境では、評価が二重に重要になります。「初期段階での幻覚が処理段階をまたいで複合化し、最終的な出力が不正確になる可能性がある。

オープンRAG評価手法システムコンポーネントの定量化

このフレームワークは、回答を事実の核となる要素に分解するナゲットベースの評価手法を採用している。

Lin氏は、この方法が、これらの重要な情報ナゲットを捕捉して提示するシステムの能力を分析する方法について説明している。

具体的な評価基準は以下の4つである：

1. 幻覚の検出 - 生成されたコンテンツに含まれる裏付けのない情報を特定する。
2. 引用の正確さ - ソース文書の品質を評価する。
3. オートナゲット - 必須情報の包含度を測定
4. UMBRELA - レトリーバーのパフォーマンスを総合的に評価します。

このフレームワークは、RAGのワークフロー全体を検証し、埋め込みモデル、検索システム、チャンキング戦略、LLMがどのように総合的にアウトプットを生成するかを明らかにします。

主なイノベーションLLMによる自動化

Open RAG Evalの画期的な点は、洗練されたLLMの統合により、これまで手作業だったプロセスを自動化することにあります。

「従来の評価は二項比較に頼っていました。「私たちの自動化されたアプローチは、評価手法に革命をもたらします。

ナゲットベースの評価は新しいものではありませんが、このフレームワークは、構造化された評価パイプライン内で事実を識別し、幻覚を検出することができるPythonを搭載したLLMを通してそれを実装しています。

評価エコシステムの位置づけ

Hugging FaceのYourbenchやGalileoのAgentic EvaluationsのようなAI評価フレームワークが成長する中、Open RAG Evalは、一般的なLLM出力ではなく、特にRAGパイプラインに焦点を当てている。

アドホックな手法ではなく、確立された情報検索科学に基づいて構築されたこのフレームワークは、広く採用されているHughes Hallucination評価モデルを含む、Vectaraのオープンソース貢献を拡張しています。

「業界全体のコラボレーションを促進するために、あえてOpen RAG Evalと名付けました」とアワダラ氏は強調する。「このフレームワークは、標準化されたRAG評価に対する市場の重要なニーズに応えるものです。

実用的な実装

Anywhere.re社のジェフ・ハンメル氏は、ベクトラとのコラボレーションによる評価プロセスの合理化を期待している。

ハンメル氏は、インフラの複雑さとコスト管理に関わるスケーリングの課題を指摘し、フレームワークの予測ベンチマーク機能を強調した。

「標準化されたフレームワークがなければ、ユーザーの主観的なフィードバックに頼っていました。「客観的な指標は、私たちのスケーリング・アプローチを変えるでしょう。

RAG導入の最適化

Open RAG Evalは、意思決定者が重要なコンフィギュレーションに関する疑問を解決するのに役立ちます：

• トークンチャンキングとセマンティックチャンキングアプローチの比較
• ハイブリッド検索実装の検討
• LLMの選択とプロンプトの最適化
• 幻覚検出のしきい値

このフレームワークは、ベースラインの確立、設定のテスト、改善の測定といった、反復的でデータ駆動型の最適化を可能にします。将来のバージョンでは、自動最適化提案とコスト・パフォーマンス・バランス・ツールが含まれる可能性があります。

様々なAI成熟度の企業に対して、Open RAG Evalは、当て推量や主観的な評価に代わる科学的な評価基準を提供します。