"Weniger ist mehr: Wie das Abrufen weniger Dokumente die KI -Antworten verbessert"

Retrieval-Augmented Generation (RAG) ist ein innovativer Ansatz zum Aufbau von KI-Systemen, die ein Sprachmodell mit einer externen Wissensquelle kombinieren, um die Genauigkeit zu verbessern und sachliche Fehler zu verringern. Im Wesentlichen sucht die KI nach relevanten Dokumenten im Zusammenhang mit der Abfrage eines Benutzers und verwendet diese Informationen, um eine genauere Antwort zu generieren. Diese Methode hat die Erkenntnis für seine Fähigkeit erlangt, große Sprachmodelle (LLMs) auf realen Daten zu halten und das Risiko von Halluzinationen zu minimieren.

Sie können annehmen, dass die Bereitstellung einer KI mit mehr Dokumenten zu besser informierten Antworten führen würde. Eine kürzlich durchgeführte Studie der hebräischen Universität von Jerusalem legt jedoch etwas anderes nahe: Wenn es darum geht, Informationen an eine KI zu füttern, kann weniger in der Tat mehr sein.

Weniger Dokumente, bessere Antworten

Die Studie befasste sich mit der Anzahl der Dokumente, die einem Lag -System bereitgestellt werden, auf seine Leistung. Die Forscher behielten eine konsistente Gesamttextenlänge bei, wobei die Dokumentzahl von 20 auf 2-4 relevante Anpassungen angepasst und diese auf das ursprüngliche Textvolumen übereinstimmt. Dies ermöglichte es ihnen, den Effekt der Dokumentmenge auf die Leistung zu isolieren.

Unter Verwendung des Musique -Datensatzes, der Trivia -Fragen mit Wikipedia -Absätzen enthält, stellten sie fest, dass KI -Modelle mit weniger Dokumenten häufig besser abschneiden. Die Genauigkeit verbesserte sich um bis zu 10% (gemessen mit F1 -Score), wenn sich das System nur auf wenige wichtige Dokumente und nicht auf eine breite Sammlung konzentrierte. Dieser Trend in verschiedenen Open-Source-Sprachmodellen wie dem Lama von Meta, wobei Qwen-2 die bemerkenswerte Ausnahme darstellt und seine Leistung mit mehreren Dokumenten beibehält.

Quelle: Levy et al.

Dieses überraschende Ergebnis stellt die allgemeine Überzeugung in Frage, dass immer mehr Informationen helfen. Selbst bei der gleichen Menge an Text schien das Vorhandensein mehrerer Dokumente die Aufgabe der KI zu komplizieren und mehr Rauschen als Signal einzuführen.

Warum weniger im Lappen mehr sein kann

Das Prinzip "Weniger ist mehr" ist sinnvoll, wenn wir überlegen, wie KI -Modelle Informationen verarbeiten. Mit weniger relevanteren Dokumenten kann sich die KI auf den wesentlichen Kontext ohne Ablenkungen konzentrieren, ähnlich wie ein Schüler, der das relevanteste Material studiert.

In der Studie wurden die Modelle besser abgewickelt, wenn nur die Dokumente, die direkt für die Antwort relevant sind, da dieser sauberere, fokussierte Kontext es einfacher machte, die richtigen Informationen zu extrahieren. Umgekehrt, wenn die KI viele Dokumente durchsuchen musste, kämpfte sie oft mit der Mischung aus relevanten und irrelevanten Inhalten. Ähnliche, aber nicht verwandte Dokumente könnten das Modell irreführen und das Risiko von Halluzinationen erhöhen.

Interessanterweise stellte die Studie fest, dass die KI offensichtlich offensichtlich irrelevante Dokumente ignorieren konnte als diese subtil off-topic. Dies deutet darauf hin, dass realistische Distraktoren verwirrender sind als zufällige. Durch die Begrenzung von Dokumenten auf nur die erforderlichen, verringern wir die Wahrscheinlichkeit, solche Fallen zu setzen.

Darüber hinaus senkt die Verwendung weniger Dokumente den Rechenaufwand, wodurch das System effizienter und kostengünstiger wird. Dieser Ansatz verbessert nicht nur die Genauigkeit, sondern verbessert auch die Gesamtleistung des Lappensystems.

Quelle: Levy et al.

Lappen überdenken: zukünftige Anweisungen

Diese Ergebnisse haben erhebliche Auswirkungen auf die Gestaltung zukünftiger KI -Systeme, die auf externem Wissen beruhen. Es deutet darauf hin, dass die Konzentration auf die Qualität und Relevanz von abgerufenen Dokumenten und nicht auf ihre Quantität die Leistung verbessern könnte. Die Autoren der Studie setzen sich für Abrufmethoden ein, die Relevanz und Vielfalt ausgleichen und eine umfassende Abdeckung sicherstellen, ohne das Modell mit fremden Text zu überwältigen.

Zukünftige Forschungen können bessere Retriever-Systeme oder -Ranker untersuchen, um wirklich wertvolle Dokumente zu identifizieren und die Umgang mit mehreren Quellen zu verbessern. Die Verbesserung der Modelle selbst, wie es bei QWEN-2 zu sehen ist, könnte auch Einblicke in die Verleihung verschiedener Inputs liefern.

Wenn KI -Systeme größere Kontextfenster entwickeln, wird die Fähigkeit, mehr Text auf einmal zu verarbeiten, weniger kritisch als sicherzustellen, dass der Text relevant und kuratiert ist. Die Studie mit dem Titel "Mehr Dokumente, gleiche Länge" unterstreicht die Bedeutung der Fokussierung auf die relevantesten Informationen zur Verbesserung der Genauigkeit und Effizienz von KI.

Zusammenfassend stellt diese Forschung unsere Annahmen über Dateneingaben in KI -Systemen in Frage. Durch sorgfältige Auswahl weniger, besserer Dokumente können wir intelligentere, schlanke Lappensysteme erstellen, die genauere und vertrauenswürdigere Antworten liefern.