"더 적은 점 : 문서를 적게 검색하는 방법 AI 응답을 향상시키는 방법"

RAG (Restrieved-Augmented Generation)는 AI 시스템 구축에 대한 혁신적인 접근법으로, 언어 모델을 외부 지식 소스와 결합하여 정확도를 높이고 사실 오류를 줄입니다. 본질적으로 AI는 사용자의 쿼리와 관련된 관련 문서를 검색 하고이 정보를 사용하여보다 정확한 응답을 생성합니다. 이 방법은 대형 언어 모델 (LLMS)을 실제 데이터에 기반으로 유지하여 환각의 위험을 최소화하는 능력에 대해 인식을 얻었습니다.

AI에 더 많은 문서를 제공하면 정보가 향상 된 답변으로 이어질 것이라고 가정 할 수 있습니다. 그러나 최근 예루살렘 히브리 대학교 (Hebrew University of Jerusalem)의 최근 연구에 따르면 AI에 정보를 공급할 때는 실제로는 더 적을 수 있습니다.

더 적은 문서, 더 나은 답변

이 연구는 RAG 시스템에 제공된 문서의 수가 성능에 어떤 영향을 미치는지에 대해 탐구했습니다. 연구원들은 문서 수를 20에서 2-4 관련하여 문서 수를 조정하여 원래 텍스트 볼륨과 일치하도록 문서 수를 20으로 2-4로 조정하여 일관된 총 텍스트 길이를 유지했습니다. 이를 통해 문서 수량이 성능에 미치는 영향을 분리 할 수있었습니다.

Wikipedia 단락과 짝을 이루는 퀴즈 질문이 포함 된 Musique 데이터 세트를 사용하여 AI 모델이 종종 더 적은 문서로 더 잘 수행된다는 것을 발견했습니다. 시스템이 광범위한 컬렉션이 아닌 몇 가지 주요 문서에 중점을두면 정확도가 최대 10% (F1 점수로 측정 됨)만큼 향상되었습니다. 이 추세는 Meta의 LLAMA와 같은 다양한 오픈 소스 언어 모델에서 유지되며 QWEN-2는 주목할만한 예외이며 여러 문서로 성능을 유지합니다.

출처 : Levy et al.

이 놀라운 결과는 더 많은 정보가 항상 도움이된다는 일반적인 믿음에 도전합니다. 같은 양의 텍스트가 있더라도 여러 문서의 존재는 AI의 작업을 복잡하게하여 신호보다 더 많은 노이즈를 도입하는 것처럼 보였습니다.

헝겊에 더 적은 이유가 더 적을 수 있습니다

AI 모델이 정보를 처리하는 방법을 고려할 때 "더 적은 것"원칙은 의미가 있습니다. 더 적은 관련 문서를 사용하면 AI는 가장 관련성이없는 자료를 연구하는 학생과 마찬가지로 산만하지 않고 필수 맥락에 초점을 맞출 수 있습니다.

이 연구에서, 모델은 답과 직접 관련된 문서 만 제공 할 때 더 잘 수행되었습니다. 반대로, AI가 많은 문서를 살펴 봐야했을 때, 종종 관련성 있고 관련이없는 콘텐츠의 혼합으로 어려움을 겪었습니다. 비슷하지만 관련이없는 문서는 모델을 오도하여 환각의 위험을 증가시킬 수 있습니다.

흥미롭게도,이 연구는 AI가 주제를 벗어난 문서보다 분명히 관련이없는 문서를 더 쉽게 무시할 수 있음을 발견했습니다. 이것은 현실적인 산만자가 임의의 산만보다 더 혼란 스럽다는 것을 시사합니다. 필요한 문서 만 제한함으로써 우리는 그러한 트랩을 설정할 가능성을 줄입니다.

또한 더 적은 문서를 사용하면 계산 오버 헤드가 낮아져 시스템이보다 효율적이고 비용 효율적입니다. 이 접근법은 정확도를 향상시킬뿐만 아니라 RAG 시스템의 전반적인 성능을 향상시킵니다.

출처 : Levy et al.

재고하는 걸레 : 미래 방향

이러한 결과는 외부 지식에 의존하는 미래 AI 시스템의 설계에 중요한 영향을 미칩니다. 그것은 수량보다는 검색된 문서의 품질과 관련성에 초점을 맞추면 성능을 향상시킬 수 있음을 시사합니다. 이 연구의 저자는 관련성과 다양성의 균형을 잡는 검색 방법을 옹호하여 외부 텍스트로 모델을 압도하지 않고 포괄적 인 범위를 보장합니다.

향후 연구는 더 나은 리트리버 시스템 또는 재 랭커를 탐색하여 진정한 귀중한 문서를 식별하고 언어 모델이 여러 소스를 처리하는 방법을 개선 할 수 있습니다. QWEN-2에서 볼 수 있듯이 모델 자체를 향상 시키면 다양한 입력에 더 강력하게 만드는 통찰력을 제공 할 수 있습니다.

AI 시스템이 더 큰 컨텍스트 Windows를 개발함에 따라 텍스트가 관련성 있고 선별되는 것보다 한 번에 더 많은 텍스트를 처리하는 능력이 덜 중요 해집니다. "더 많은 문서, 동일한 길이"라는 제목의 연구는 AI 정확도와 효율성을 향상시키기 위해 가장 적합한 정보에 초점을 맞추는 것이 중요하다는 것을 강조합니다.

결론적으로,이 연구는 AI 시스템의 데이터 입력에 대한 우리의 가정에 도전합니다. 더 적고 더 나은 문서를 신중하게 선택함으로써보다 정확하고 신뢰할 수있는 답변을 제공하는 더 똑똑하고 Leaner Rag 시스템을 만들 수 있습니다.