"Moins c'est plus: comment la récupération de moins de documents améliore les réponses de l'IA"

La génération auprès de la récupération (RAG) est une approche innovante de la construction de systèmes d'IA, combinant un modèle de langue avec une source de connaissances externes pour améliorer la précision et réduire les erreurs factuelles. Essentiellement, l'IA recherche des documents pertinents liés à la requête d'un utilisateur et utilise ces informations pour générer une réponse plus précise. Cette méthode a acquis une reconnaissance pour sa capacité à maintenir les modèles de langage de grands (LLM) fondés sur des données réelles, minimisant le risque d'hallucinations.

Vous pourriez supposer que fournir une IA avec plus de documents conduirait à des réponses mieux informées. Cependant, une étude récente de l'Université hébraïque de Jérusalem suggère le contraire: en ce qui concerne l'alimentation des informations dans une IA, moins peut en effet être plus.

Moins de documents, meilleures réponses

L'étude a expliqué comment le nombre de documents fournis à un système de chiffon a un impact sur ses performances. Les chercheurs ont maintenu une longueur totale de texte cohérente, ajustant le nombre de documents de 20 à 2-4 pertinents et les élargir pour correspondre au volume de texte d'origine. Cela leur a permis d'isoler l'effet de la quantité de document sur les performances.

À l'aide de l'ensemble de données MUSIQUE, qui comprend des questions de trivia associées à des paragraphes Wikipedia, ils ont constaté que les modèles d'IA fonctionnaient souvent mieux avec moins de documents. La précision s'est améliorée jusqu'à 10% (mesurée par le score F1) lorsque le système s'est concentré sur quelques documents clés plutôt que sur une large collection. Cette tendance s'est maintenue à travers divers modèles de langue open source, tels que Meta's Llama, Qwen-2 étant l'exception notable, en conservant ses performances avec plusieurs documents.

Source: Levy et al.

Ce résultat surprenant remet en question la croyance commune que plus d'informations aident toujours. Même avec la même quantité de texte, la présence de plusieurs documents semblait compliquer la tâche de l'IA, introduisant plus de bruit que le signal.

Pourquoi moins peut être plus en chiffon

Le principe «moins est plus» est logique lorsque nous considérons comment les modèles d'IA traitent les informations. Avec moins de documents plus pertinents, l'IA peut se concentrer sur le contexte essentiel sans distractions, tout comme un étudiant étudiant le matériel le plus pertinent.

Dans l'étude, les modèles ont mieux fonctionné lorsqu'on leur donne uniquement les documents directement pertinents pour la réponse, car ce contexte plus propre et ciblé a facilité l'extraction des informations correctes. À l'inverse, lorsque l'IA a dû passer au crible de nombreux documents, il a souvent lutté avec le mélange de contenu pertinent et non pertinent. Des documents similaires mais non liés pourraient induire le modèle en erreur, augmentant le risque d'hallucinations.

Fait intéressant, l'étude a révélé que l'IA pouvait plus facilement ignorer les documents évidemment non pertinents que ceux subtilement hors sujet. Cela suggère que les distracteurs réalistes sont plus confus que les distracteurs réalistes que les distracteurs. En limitant les documents aux seuls nécessaires, nous réduisons la probabilité de définir de tels pièges.

De plus, l'utilisation de moins de documents abaisse les frais généraux de calcul, ce qui rend le système plus efficace et plus rentable. Cette approche améliore non seulement la précision, mais améliore également les performances globales du système de chiffon.

Source: Levy et al.

Repenser le chiffon: les instructions futures

Ces résultats ont des implications importantes pour la conception de futurs systèmes d'IA qui reposent sur des connaissances externes. Cela suggère que se concentrer sur la qualité et la pertinence des documents récupérés, plutôt que sur leur quantité, pourrait améliorer les performances. Les auteurs de l'étude préconisent des méthodes de récupération qui équilibrent la pertinence et la diversité, garantissant une couverture complète sans écraser le modèle avec un texte étranger.

Les recherches futures pourraient explorer de meilleurs systèmes de récupération ou des recommandés pour identifier des documents vraiment précieux et améliorer la façon dont les modèles de langue gèrent plusieurs sources. L'amélioration des modèles eux-mêmes, comme on le voit avec QWEN-2, pourrait également fournir des informations sur les rendant plus robustes à diverses intrants.

Comme les systèmes d'IA développent des fenêtres de contexte plus grandes, la capacité de traiter plus de texte devient moins critique que de garantir que le texte est pertinent et organisé. L'étude, intitulée «Plus de documents, même longueur», souligne l'importance de se concentrer sur les informations les plus pertinentes pour améliorer la précision et l'efficacité de l'IA.

En conclusion, cette recherche remet en question nos hypothèses sur l'apport de données dans les systèmes d'IA. En sélectionnant soigneusement moins de documents, nous pouvons créer des systèmes de chiffons plus intelligents et plus maigres qui fournissent des réponses plus précises et dignes de confiance.