「少ないです：より少ないドキュメントを取得する方法がAI応答を強化する方法」

検索拡張生成（RAG）は、AIシステムを構築するための革新的なアプローチであり、言語モデルと外部の知識ソースを組み合わせることで、精度を高め、事実誤差を減らします。本質的に、AIはユーザーのクエリに関連する文書を検索し、この情報を利用してより正確な応答を生成します。この方法は、大規模言語モデル（LLMs）を実際のデータに基づいて安定させ、幻覚のリスクを最小限に抑える能力で注目を集めています。

AIに多くの文書を提供すれば、より情報に基づいた回答が得られると思うかもしれません。しかし、エルサレムのヘブライ大学の最近の研究では、逆のことが示唆されています：AIに情報を提供する際には、少ない方が確かに効果的である場合があります。

少ない文書、優れた回答

この研究では、RAGシステムに提供される文書の数がそのパフォーマンスにどのように影響するかを詳しく調査しました。研究者たちは、全体のテキスト量を一定に保ちつつ、文書の数を20から2～4の関連性の高いものに減らし、これらを元のテキスト量に合わせて拡張しました。これにより、文書の数によるパフォーマンスへの影響を単独で評価できました。

MuSiQueデータセットを使用し、雑学質問とウィキペディアの段落を組み合わせたテストでは、AIモデルは少ない文書でより高いパフォーマンスを示すことがわかりました。システムが広範な文書集合ではなく、少数の重要な文書に焦点を当てた場合、F1スコアで測定される精度が最大10％向上しました。この傾向は、MetaのLlamaなどのさまざまなオープンソース言語モデルで確認され、Qwen-2は複数の文書でもパフォーマンスを維持する顕著な例外でした。

出典：Levy et al.

この驚くべき結果は、情報が多ければ常に役立つという一般的な信念に挑戦します。同じテキスト量であっても、複数の文書が存在すると、AIのタスクが複雑化し、シグナルよりもノイズが増える傾向がありました。

RAGにおいて少ない方が優れている理由

「少ない方が多い」という原則は、AIモデルが情報を処理する方法を考えると理解できます。関連性の高い少数の文書を用いることで、AIは気が散ることなく本質的なコンテキストに集中でき、学生が最も適切な資料を勉強するのと似ています。

研究では、回答に直接関連する文書だけを与えられた場合、モデルはより高いパフォーマンスを発揮しました。このクリーンで焦点を絞ったコンテキストは、正しい情報を抽出するのを容易にしました。逆に、AIが多くの文書をふるいにかけなければならない場合、関連性のある内容と無関係な内容の混在に苦労しました。関連性はあるが無関係な文書は、モデルを誤解させ、幻覚のリスクを高める可能性がありました。

興味深いことに、研究では、AIは明らかに無関係な文書よりも、微妙に的外れな文書を無視するのが難しいことがわかりました。これは、現実的な妨害要因がランダムなものよりも混乱を招くことを示唆しています。必要な文書のみに制限することで、このような罠を仕掛ける可能性を減らせます。

さらに、少ない文書を使用することで計算負荷が軽減され、システムの効率とコスト効果が向上します。このアプローチは、精度を向上させるだけでなく、RAGシステム全体のパフォーマンスを高めます。

出典：Levy et al.

RAGの再考：今後の方向性

これらの発見は、外部の知識に依存する将来のAIシステムの設計に大きな影響を与えます。取得する文書の質と関連性に焦点を当てることで、量よりもパフォーマンスを向上させられることが示唆されています。研究の著者は、関連性と多様性のバランスをとる検索方法を推奨し、余分なテキストでモデルを圧倒せずに包括的なカバレッジを確保することを提案しています。

今後の研究では、真に価値ある文書を特定し、言語モデルが複数のソースをより適切に処理する方法を改善するための、より優れた検索システムやリランカーを探求する可能性があります。Qwen-2に見られるように、モデル自体の強化も、多様な入力に対してより堅牢にするための洞察を提供するかもしれません。

AIシステムがより大きなコンテキストウィンドウを開発するにつれて、一度に多くのテキストを処理する能力は、テキストが関連性が高く厳選されていることを確保するよりも重要ではなくなります。「同じ長さで多くの文書」というタイトルのこの研究は、AIの精度と効率を向上させるために最も適切な情報に焦点を当てる重要性を強調しています。

結論として、この研究は、AIシステムのデータ入力に関する我々の前提に挑戦します。慎重に選ばれた少ない、より優れた文書を用いることで、よりスマートで効率的なRAGシステムを構築でき、より正確で信頼性の高い回答を提供できます。