"Ít hơn là nhiều hơn: Làm thế nào việc truy xuất ít tài liệu hơn giúp tăng cường phản hồi của AI"

Thế hệ được thu hồi (RAG) là một cách tiếp cận sáng tạo để xây dựng các hệ thống AI, kết hợp một mô hình ngôn ngữ với nguồn kiến ​​thức bên ngoài để tăng cường độ chính xác và giảm các lỗi thực tế. Về bản chất, AI tìm kiếm các tài liệu liên quan liên quan đến truy vấn của người dùng và sử dụng thông tin này để tạo phản hồi chính xác hơn. Phương pháp này đã đạt được sự công nhận về khả năng giữ các mô hình ngôn ngữ lớn (LLM) dựa trên dữ liệu thực, giảm thiểu rủi ro ảo giác.

Bạn có thể giả định rằng việc cung cấp cho AI nhiều tài liệu hơn sẽ dẫn đến câu trả lời thông tin tốt hơn. Tuy nhiên, một nghiên cứu gần đây từ Đại học Do Thái Jerusalem cho thấy khác: khi nói đến việc cung cấp thông tin cho AI, ít thực sự có thể nhiều hơn.

Ít tài liệu hơn, câu trả lời tốt hơn

Nghiên cứu đi sâu vào cách số lượng tài liệu cung cấp cho một hệ thống RAG ảnh hưởng đến hiệu suất của nó. Các nhà nghiên cứu duy trì tổng thời lượng văn bản nhất quán, điều chỉnh số lượng tài liệu từ 20 xuống 2-4 có liên quan và mở rộng chúng để phù hợp với khối lượng văn bản gốc. Điều này cho phép họ cô lập ảnh hưởng của số lượng tài liệu đến hiệu suất.

Sử dụng bộ dữ liệu Musique, bao gồm các câu hỏi đố được ghép nối với các đoạn Wikipedia, họ thấy rằng các mô hình AI thường thực hiện tốt hơn với ít tài liệu hơn. Độ chính xác được cải thiện tới 10% (được đo bằng điểm F1) khi hệ thống chỉ tập trung vào một vài tài liệu chính thay vì một bộ sưu tập rộng. Xu hướng này được tổ chức trên các mô hình ngôn ngữ nguồn mở khác nhau, chẳng hạn như Llama của Meta, với QWEN-2 là ngoại lệ đáng chú ý, duy trì hiệu suất của nó với nhiều tài liệu.

Nguồn: Levy et al.

Kết quả đáng ngạc nhiên này thách thức niềm tin chung rằng nhiều thông tin luôn giúp đỡ. Ngay cả với cùng một lượng văn bản, sự hiện diện của nhiều tài liệu dường như làm phức tạp nhiệm vụ của AI, giới thiệu nhiều tiếng ồn hơn tín hiệu.

Tại sao ít hơn có thể nhiều hơn trong giẻ rách

Nguyên tắc "ít hơn là nhiều hơn" có ý nghĩa khi chúng ta xem xét cách các mô hình AI xử lý thông tin. Với ít hơn, các tài liệu phù hợp hơn, AI có thể tập trung vào bối cảnh thiết yếu mà không bị phân tâm, giống như một sinh viên nghiên cứu các tài liệu thích hợp nhất.

Trong nghiên cứu, các mô hình thực hiện tốt hơn khi chỉ được cung cấp các tài liệu liên quan trực tiếp đến câu trả lời, vì bối cảnh tinh tế này, tập trung giúp trích xuất thông tin chính xác dễ dàng hơn. Ngược lại, khi AI phải sàng lọc nhiều tài liệu, nó thường phải vật lộn với sự pha trộn của nội dung có liên quan và không liên quan. Các tài liệu tương tự nhưng không liên quan có thể đánh lừa mô hình, làm tăng nguy cơ ảo giác.

Thật thú vị, nghiên cứu cho thấy AI có thể dễ dàng bỏ qua các tài liệu rõ ràng không liên quan hơn những tài liệu không liên quan. Điều này cho thấy rằng những kẻ phân tâm thực tế khó hiểu hơn những cái ngẫu nhiên. Bằng cách giới hạn các tài liệu chỉ với những tài liệu cần thiết, chúng tôi giảm khả năng thiết lập các bẫy như vậy.

Ngoài ra, sử dụng ít tài liệu hơn làm giảm chi phí tính toán, làm cho hệ thống hiệu quả hơn và hiệu quả về chi phí. Cách tiếp cận này không chỉ cải thiện độ chính xác mà còn tăng cường hiệu suất tổng thể của hệ thống RAG.

Nguồn: Levy et al.

Suy nghĩ lại Rag: Hướng dẫn trong tương lai

Những phát hiện này có ý nghĩa quan trọng đối với việc thiết kế các hệ thống AI trong tương lai dựa vào kiến ​​thức bên ngoài. Nó cho thấy rằng việc tập trung vào chất lượng và mức độ phù hợp của các tài liệu truy xuất, thay vì số lượng của chúng, có thể tăng cường hiệu suất. Các tác giả của nghiên cứu ủng hộ các phương pháp truy xuất cân bằng sự liên quan và đa dạng, đảm bảo phạm vi bảo hiểm toàn diện mà không áp đảo mô hình với văn bản bên ngoài.

Nghiên cứu trong tương lai có thể khám phá các hệ thống Retriever tốt hơn hoặc xếp hạng lại để xác định các tài liệu thực sự có giá trị và cải thiện cách các mô hình ngôn ngữ xử lý nhiều nguồn. Tự nâng cao các mô hình, như đã thấy với QWEN-2, cũng có thể cung cấp những hiểu biết sâu sắc về việc làm cho chúng mạnh mẽ hơn với các đầu vào đa dạng.

Khi các hệ thống AI phát triển các cửa sổ bối cảnh lớn hơn, khả năng xử lý nhiều văn bản hơn một lúc trở nên ít quan trọng hơn so với việc đảm bảo văn bản có liên quan và quản lý. Nghiên cứu, có tiêu đề "Nhiều tài liệu, cùng độ dài", nhấn mạnh tầm quan trọng của việc tập trung vào thông tin thích hợp nhất để cải thiện độ chính xác và hiệu quả của AI.

Tóm lại, nghiên cứu này thách thức các giả định của chúng tôi về đầu vào dữ liệu trong các hệ thống AI. Bằng cách lựa chọn cẩn thận ít hơn, các tài liệu tốt hơn, chúng ta có thể tạo ra các hệ thống RAG thông minh hơn, nạc, cung cấp câu trả lời chính xác và đáng tin cậy hơn.