「少ないです：より少ないドキュメントを取得する方法がAI応答を強化する方法」

検索された生成（RAG）は、AIシステムを構築するための革新的なアプローチであり、言語モデルと外部の知識ソースを組み合わせて精度を高め、事実上のエラーを減らします。本質的に、AIはユーザーのクエリに関連する関連ドキュメントを検索し、この情報を使用してより正確な応答を生成します。この方法は、実際のデータに基づいて大規模な言語モデル（LLM）を維持する能力を認識し、幻覚のリスクを最小限に抑えています。

より多くのドキュメントをAIに提供することは、より詳細な情報の回答につながると仮定するかもしれません。しかし、エルサレムのヘブライ大学の最近の研究は、そうでないことを示唆しています。AIに情報を供給することに関しては、実際には少なくなる可能性があります。

ドキュメントが少なく、より良い答え

この調査は、RAGシステムに提供されるドキュメントの数がパフォーマンスにどのように影響するかについて掘り下げました。研究者は、一貫した合計テキストの長さを維持し、ドキュメントカウントを20から2-4の関連するものに調整し、これらを元のテキストボリュームに合わせて拡張しました。これにより、パフォーマンスに対するドキュメントの量の影響を分離することができました。

Wikipediaの段落と組み合わせたTriviaの質問を含むMusiqueデータセットを使用して、AIモデルのパフォーマンスはしばしばパフォーマンスを発揮し、ドキュメントが少なくなりました。システムが幅広いコレクションではなく、いくつかの重要なドキュメントに焦点を合わせた場合、精度は最大10％（F1スコアで測定）。この傾向は、MetaのLlamaなどのさまざまなオープンソースの言語モデルにわたって保持されており、Qwen-2が顕著な例外であり、複数のドキュメントでパフォーマンスを維持しています。

出典：Levy et al。

この驚くべき結果は、より多くの情報が常に役立つという一般的な信念に挑戦します。同じ量のテキストがあっても、複数のドキュメントの存在はAIのタスクを複雑にしているように見え、信号よりも多くのノイズを導入しました。

なぜぼろきれが多いのか

AIモデルが情報を処理する方法を検討する際に、「より少ない」原則は理にかなっています。関連する文書が少なくなると、AIは、最も適切な素材を勉強している学生のように、気を散らすことなく本質的なコンテキストに焦点を当てることができます。

この研究では、このクリーンな焦点を絞ったコンテキストにより、正しい情報を簡単に抽出できるようになったため、回答に直接関連するドキュメントのみが与えられた場合、モデルはより良いパフォーマンスを発揮しました。逆に、AIが多くのドキュメントをふるいにかけなければならなかったとき、それはしばしば関連するコンテンツと無関係なコンテンツの組み合わせに苦労しました。同様の関係のない文書は、モデルを誤解させ、幻覚のリスクを高める可能性があります。

興味深いことに、この研究では、AIは、微妙にオフトピックの文書よりも明らかに無関係な文書をより簡単に無視できることがわかりました。これは、現実的なディストラクタがランダムなディストラクタよりも混乱していることを示唆しています。必要な文書のみに制限することにより、そのようなトラップを設定する可能性を減らします。

さらに、より少ないドキュメントを使用すると計算オーバーヘッドが低くなり、システムがより効率的で費用対効果が高くなります。このアプローチは、精度を向上させるだけでなく、RAGシステムの全体的なパフォーマンスを向上させます。

出典：Levy et al。

ぼろきれの再考：将来の方向

これらの調査結果は、外部の知識に依存する将来のAIシステムの設計に大きな意味を持ちます。取得したドキュメントの品質と関連性に焦点を当てることは、その量ではなく、パフォーマンスを向上させる可能性があることを示唆しています。この研究の著者は、関連性と多様性のバランスをとる検索方法を提唱し、モデルを無関係なテキストで圧倒することなく包括的なカバレッジを確保します。

将来の研究では、より良いレトリバーシステムまたは再ランカーを探求して、真に貴重なドキュメントを特定し、言語モデルが複数のソースを処理する方法を改善する可能性があります。 Qwen-2で見られるように、モデル自体を強化することも、多様な入力に対してより堅牢にすることに関する洞察を提供する可能性があります。

AIシステムがより大きなコンテキストウィンドウを開発するにつれて、より多くのテキストを一度に処理する機能は、テキストが関連性がありキュレーションされていることを確認するよりも重要ではありません。 「より多くの文書、同じ長さ」というタイトルのこの研究は、AIの精度と効率を改善するために最も適切な情報に焦点を合わせることの重要性を強調しています。

結論として、この研究は、AIシステムでのデータ入力に関する仮定に挑戦しています。より少ない、より良いドキュメントを慎重に選択することにより、より正確で信頼できる答えを提供するよりスマートで、よりスリムなラグシステムを作成できます。