Was ist im LLM? AI2 Olmotrace wird die Quelle "verfolgen"

Das Verständnis der Verbindung zwischen der Ausgabe eines großen Sprachmodells (LLM) und seinen Trainingsdaten war schon immer ein Rätsel für Unternehmen. Diese Woche startete das Allen Institute for AI (AI2) eine aufregende neue Open-Source-Initiative namens Olmotrace, die darauf abzielt, diese Beziehung zu entmystifizieren. Olmotrace ermöglicht es den Benutzern, LLM-Ausgaben auf ihre ursprünglichen Trainingsdaten zurückzuverfolgen, und packt einen der größten Hürden für die Einführung der Unternehmens-KI-Einführung an: die mangelnde Transparenz bei KI-Entscheidungsprozessen.

Olmo, das für offenes Sprachmodell steht, ist der Name der Open-Source-LLMs von AI2. Sie können Olmotrace mit dem neuesten OLMO 2 32B -Modell auf dem Spielplatz von AI2 ausprobieren. Außerdem steht der Open-Source-Code auf Github zu, sodass jeder ihn frei verwenden kann.

Was Olmotrace von anderen Methoden unterscheidet, z. Jiachengiu, ein Forscher bei AI2, sagte gegenüber VentureBeat: "Unser Ziel ist es, den Benutzern zu helfen, zu verstehen, warum Sprachmodelle die Antworten generieren, die sie tun."

Wie Olmotrace funktioniert: Mehr als nur Zitate

Während LLMs wie Verwirrung oder ChatGPT -Suche Quellzitate anbieten können, arbeiten sie anders als Olmotrace. Laut LIU verwenden diese Modelle die ARRAVEAL-AUGMENTED-Generation (RAG), die darauf abzielt, die Qualität der Modellausgabe zu verbessern, indem zusätzliche Quellen über die Trainingsdaten hinausgeht. Andererseits zeichnet Olmotrace die Ausgabe des Modells direkt zum Trainingskorpus zurück, ohne sich auf Lappen oder externe Dokumente zu verlassen.

Das Tool identifiziert eindeutige Textsequenzen in den Modellausgaben und entspricht ihnen mit bestimmten Dokumenten aus den Trainingsdaten. Wenn eine Übereinstimmung gefunden wird, unterstreicht Olmotrace nicht nur den entsprechenden Text, sondern liefert auch Links zum ursprünglichen Ausgangsmaterial. Auf diese Weise können Benutzer genau sehen, wo und wie das Modell die von ihm verwendeten Informationen gelernt hat.

Über Vertrauensbewertungen hinaus: konkrete Beweise für die Entscheidungsfindung von KI

LLMs erzeugen typischerweise Ausgänge basierend auf Modellgewichten, die zur Berechnung eines Konfidenzwerts verwendet werden. Je höher die Punktzahl, desto angeblich genau der Ausgang. Liu glaubt jedoch, dass diese Ergebnisse irreführend sein können. "Modelle können über das Zeug, das sie erzeugen, zu übersehen sein, und wenn Sie sie bitten, eine Punktzahl zu generieren, ist es normalerweise aufgeblasen", erklärte er. "Das nennen Akademiker einen Kalibrierungsfehler - das Vertrauen, dass die Ausgabe der Modelle nicht immer, wie genau ihre Antworten wirklich sind."

Anstatt sich auf potenziell irreführende Bewertungen zu verlassen, bietet Olmotrace direkte Beweise für die Lernquellen des Modells, damit Benutzer fundierte Urteile fällen können. "Was Olmotrace tut, zeigt Ihnen die Übereinstimmungen zwischen Modellausgaben und Trainingsdokumenten", sagte Liu. "Über die Schnittstelle können Sie direkt sehen, wo sich die Übereinstimmungspunkte befinden und wie die Modellausgaben mit den Trainingsdokumenten übereinstimmen."

Wie Olmotrace im Vergleich zu anderen Transparenzansätzen vergleicht wird

AI2 ist nicht die einzige Organisation, die LLM -Ausgaben besser verstehen. Anthropic hat auch Forschungen durchgeführt, aber ihr Fokus lag eher auf den internen Operationen des Modells als auf den Daten. Liu betonte den Unterschied: "Wir verfolgen einen anderen Ansatz als sie. Wir verfolgen direkt in das Modellverhalten, in ihre Trainingsdaten, anstatt Dinge in die Modellneuronen, interne Schaltungen, so etwas zu verfolgen."

Dieser Ansatz macht Olmotrace für Unternehmensanwendungen praktischer, da es keine umfassende Kenntnisse der neuronalen Netzwerkarchitektur erfordert, um die Ergebnisse zu verstehen.

AI -Anwendungen für Unternehmen: Von der Einhaltung von Vorschriften zum Modelldebuggen

Für Unternehmen, die KI in regulierten Sektoren wie Gesundheitswesen, Finanzen oder Rechtsdienstleistungen einsetzen, bietet Olmotrace erhebliche Vorteile gegenüber herkömmlichen Black-Box-Systemen. "Wir glauben, dass Olmotrace Enterprise- und Geschäftsnutzern helfen wird, besser zu verstehen, was für die Schulung von Modellen verwendet wird, damit sie sicherer sein können, wenn sie auf ihnen aufbauen möchten", erklärte Liu. "Dies kann dazu beitragen, die Transparenz und das Vertrauen zwischen ihnen ihrer Modelle und auch für Kunden ihres Modellverhaltens zu erhöhen."

Die Technologie ermöglicht mehrere wichtige Funktionen für Unternehmens -KI -Teams:

• Modellprüfmodellausgänge gegen Originalquellen
• Verständnis der Ursprünge von Halluzinationen
• Verbesserung des Modelldebuggens durch Identifizierung problematischer Muster
• Verbesserung der Vorschriften der Regulierung durch Datenverfolglichkeit
• Vertrauen mit den Stakeholdern durch erhöhte Transparenz aufbauen

Das AI2 -Team hat Olmotrace bereits gut genutzt. "Wir verwenden es bereits, um unsere Trainingsdaten zu verbessern", erklärte Liu. "Als wir Olmo 2 bauten und unser Training über Olmotrace begannen, stellten wir fest, dass tatsächlich einige der Daten nach dem Training nicht gut waren."

Was dies für die Einführung von Unternehmen KI bedeutet

Für Unternehmen, die an der Spitze der KI -Einführung stehen, markiert Olmotrace einen erheblichen Fortschritt in Bezug auf verantwortungsvollere KI -Systeme. Das Tool ist unter einer Open-Source-Lizenz von Apache 2.0 verfügbar. Dies bedeutet, dass jeder Unternehmen mit Zugriff auf die Schulungsdaten eines Modells ähnliche Tracing-Funktionen implementieren kann.

"Olmotrace kann an jedem Modell arbeiten, solange Sie die Trainingsdaten des Modells haben", bemerkte Liu. "Für vollständig offene Modelle, bei denen jeder Zugriff auf die Trainingsdaten des Modells hat, kann jeder Olmotrace für dieses Modell einrichten. Für proprietäre Modelle möchten einige Anbieter ihre Daten möglicherweise nicht veröffentlichen. Sie können dies auch im Olmotrace intern tun."

Wenn sich globale KI -Governance -Frameworks entwickeln, dürften Tools wie Olmotrace, die Überprüfung und Auditabilität ermöglichen, zu entscheidenden Komponenten von Unternehmens -KI -Stapeln werden, insbesondere in regulierten Branchen, in denen Transparenz zunehmend erforderlich ist. Für technische Entscheidungsträger, die die Vor- und Nachteile der KI-Einführung berücksichtigen, bietet Olmotrace eine praktische Möglichkeit, vertrauenswürdigere und erklärbarere KI-Systeme zu implementieren, ohne die Kraft großer Sprachmodelle zu beeinträchtigen.