“更少的是：檢索更少的文檔如何增強AI響應”

檢索增強的生成（RAG）是一種構建AI系統的創新方法，將語言模型與外部知識源相結合，以提高準確性並減少事實錯誤。本質上，AI搜索與用戶查詢有關的相關文檔，並使用此信息來生成更精確的響應。這種方法因其保持基於實際數據的大型語言模型（LLM）的能力而獲得認可，從而最大程度地減少了幻覺的風險。

您可能會認為，提供更多文檔的AI會導致更有信息的答案。但是，耶路撒冷希伯來大學的最新研究表明：當涉及將信息提供給AI時，少的確實可以更多。

更少的文件，更好的答案

該研究深入研究了提供給抹布系統的文檔數量如何影響其性能。研究人員保持了一致的總文本長度，將文檔的數量從20個調整到2-4個相關的文本長度，並將其擴展以匹配原始文本卷。這使他們能夠隔離文檔數量對性能的影響。

他們使用Musique數據集（包括瑣事問題與Wikipedia段落配對），他們發現AI模型通常在更少的文檔中表現得更好。當系統僅關注幾個關鍵文檔而不是廣泛的收集時，準確性提高了10％（通過F1分數衡量）。這種趨勢在各種開源語言模型（例如Meta's Llama）中持有，QWEN-2是顯著的例外，可以通過多個文檔保持其性能。

資料來源：Levy等。

這種令人驚訝的結果挑戰了普遍的信念，即更多的信息總是有幫助。即使有相同數量的文本，多個文檔的存在似乎也使AI的任務複雜化，引入了比信號更多的噪聲。

為什麼在抹布中更少

當我們考慮AI模型如何處理信息時，“更少”的原則是有意義的。隨著更少，更相關的文檔，AI可以將重點放在基本環境上，而不會分心，就像研究最相關材料的學生一樣。

在研究中，僅給出與答案直接相關的文檔時，模型的性能更好，因為這種清潔劑，重點的上下文使提取正確的信息變得更加容易。相反，當AI不得不篩選許多文檔時，它經常在相關和無關緊要的內容的混合中掙扎。相似但無關的文件可能會誤導該模型，從而增加幻覺的風險。

有趣的是，該研究發現，與巧妙的主題相比，AI可以更容易地忽略明顯無關緊要的文件。這表明現實的干擾因素比隨機分散者更令人困惑。通過將文檔僅限於必要的文件，我們減少了設置此類陷阱的可能性。

此外，使用較少的文檔降低了計算開銷，從而使系統更有效和成本效益。這種方法不僅提高了準確性，還可以提高抹布系統的整體性能。

資料來源：Levy等。

重新思考抹布：未來的方向

這些發現對依賴外部知識的未來AI系統的設計具有重要意義。它表明，專注於檢索文檔的質量和相關性，而不是其數量可以提高性能。該研究的作者提倡取回相關性和多樣性的檢索方法，從而確保全面的覆蓋範圍，而不會用外文本壓倒模型。

未來的研究可能會探索更好的檢索系統或重新級別，以識別真正有價值的文檔並改善語言模型處理多個來源的方式。從QWEN-2看，增強模型本身也可以提供有關使它們對各種投入更強大的見解。

隨著AI系統開發較大的上下文窗口，與確保文本相關和策劃的能力立即處理更多文本變得不那麼關鍵。該研究的標題為“更多文檔，相同長度”，強調了專注於提高AI準確性和效率的最相關信息的重要性。

總之，這項研究挑戰了我們對AI系統數據輸入的假設。通過仔細選擇更少，更好的文檔，我們可以創建更智能，更精簡的抹布系統，從而提供更準確和值得信賴的答案。