Was ist im LLM? AI2 Olmotrace wird die Quelle "verfolgen"

Das Verständnis der Verbindung zwischen den Ausgaben eines großen Sprachmodells (LLM) und seinen Trainingsdaten war für Unternehmens-IT immer etwas rätselhaft. Diese Woche hat das Allen Institute for AI (Ai2) eine spannende neue Open-Source-Initiative namens OLMoTrace gestartet, die darauf abzielt, diese Beziehung zu entmystifizieren. Indem Nutzern ermöglicht wird, LLM-Ausgaben zu ihren ursprünglichen Trainingsdaten zurückzuverfolgen, geht OLMoTrace eines der größten Hindernisse für die Einführung von KI in Unternehmen an: den Mangel an Transparenz in den Entscheidungsprozessen von KI.

OLMo, was für Open Language Model steht, ist der Name der Familie von Open-Source-LLMs von Ai2. Sie können OLMoTrace mit dem neuesten OLMo 2 32B-Modell auf der Playground-Seite von Ai2 ausprobieren. Außerdem ist der Open-Source-Code auf GitHub verfügbar, sodass ihn jeder frei nutzen kann.

Was OLMoTrace von anderen Methoden wie solchen, die sich auf Konfidenzwerte oder retrieval-augmented generation konzentrieren, unterscheidet, ist, dass es einen klaren Einblick bietet, wie Modellausgaben mit den umfangreichen Trainingsdatensätzen zusammenhängen, die sie geformt haben. Jiacheng Liu, ein Forscher bei Ai2, sagte gegenüber VentureBeat: „Unser Ziel ist es, Nutzern zu helfen, zu verstehen, warum Sprachmodelle die Antworten generieren, die sie geben.“

Wie OLMoTrace funktioniert: Mehr als nur Zitate

Während LLMs wie Perplexity oder ChatGPT Search Quellenzitate anbieten können, funktionieren sie anders als OLMoTrace. Laut Liu verwenden diese Modelle retrieval-augmented generation (RAG), die darauf abzielt, die Qualität der Modellausgaben durch die Einbindung zusätzlicher Quellen über die Trainingsdaten hinaus zu verbessern. OLMoTrace hingegen verfolgt die Ausgaben des Modells direkt zurück zum Trainingskorpus, ohne auf RAG oder externe Dokumente angewiesen zu sein.

Das Tool identifiziert einzigartige Textsequenzen in den Modellausgaben und ordnet sie spezifischen Dokumenten aus den Trainingsdaten zu. Wenn eine Übereinstimmung gefunden wird, hebt OLMoTrace nicht nur den relevanten Text hervor, sondern stellt auch Links zum ursprünglichen Quellenmaterial bereit. Dies ermöglicht Nutzern, genau zu sehen, wo und wie das Modell die verwendeten Informationen gelernt hat.

Jenseits von Konfidenzwerten: Greifbare Beweise für KI-Entscheidungen

LLMs generieren Ausgaben basierend auf Modellgewichten, die verwendet werden, um einen Konfidenzwert zu berechnen. Je höher der Wert, desto angeblich genauer die Ausgabe. Liu glaubt jedoch, dass diese Werte irreführend sein können. „Modelle können übermäßig zuversichtlich in das sein, was sie generieren, und wenn man sie auffordert, einen Wert zu generieren, ist dieser oft überhöht“, erklärte er. „Das nennen Wissenschaftler einen Kalibrierungsfehler – die Zuversicht, die Modelle ausgeben, spiegelt nicht immer wider, wie genau ihre Antworten wirklich sind.“

Anstelle von potenziell irreführenden Werten bietet OLMoTrace direkte Beweise für die Lernquellen des Modells, sodass Nutzer fundierte Urteile fällen können. „OLMoTrace zeigt Ihnen die Übereinstimmungen zwischen Modellausgaben und den Trainingsdokumenten“, sagte Liu. „Über die Benutzeroberfläche können Sie direkt sehen, wo die Übereinstimmungspunkte sind und wie die Modellausgaben mit den Trainingsdokumenten übereinstimmen.“

Wie OLMoTrace im Vergleich zu anderen Transparenzansätzen abschneidet

Ai2 ist nicht die einzige Organisation, die daran arbeitet, LLM-Ausgaben besser zu verstehen. Anthropic hat ebenfalls Forschung betrieben, konzentriert sich jedoch auf die internen Abläufe des Modells und nicht auf dessen Daten. Liu betonte den Unterschied: „Wir verfolgen einen anderen Ansatz als sie. Wir verfolgen direkt das Verhalten des Modells zurück zu seinen Trainingsdaten, anstatt Dinge in die Modellneuronen, interne Schaltkreise oder dergleichen zurückzuverfolgen.“

Dieser Ansatz macht OLMoTrace praktischer für Unternehmensanwendungen, da kein tiefgehendes Wissen über die Architektur neuronaler Netze erforderlich ist, um die Ergebnisse zu verstehen.

KI-Anwendungen im Unternehmen: Von regulatorischer Compliance bis zur Modell-Fehlerbehebung

Für Unternehmen, die KI in regulierten Sektoren wie Gesundheitswesen, Finanzen oder Rechtsdienstleistungen einsetzen, bietet OLMoTrace erhebliche Vorteile gegenüber traditionellen Black-Box-Systemen. „Wir denken, dass OLMoTrace Unternehmens- und Geschäftsanwendern hilft, besser zu verstehen, was bei der Modellbildung verwendet wird, damit sie selbstbewusster darauf aufbauen können“, erklärte Liu. „Dies kann die Transparenz und das Vertrauen in ihre Modelle sowie für Kunden in das Verhalten ihrer Modelle erhöhen.“

Die Technologie ermöglicht mehrere wichtige Funktionen für KI-Teams in Unternehmen:

• Überprüfung der Modellausgaben anhand der ursprünglichen Quellen
• Verständnis der Ursprünge von Halluzinationen
• Verbesserung der Modell-Fehlerbehebung durch Identifizierung problematischer Muster
• Verbesserung der regulatorischen Compliance durch Datennachverfolgbarkeit
• Aufbau von Vertrauen bei Stakeholdern durch erhöhte Transparenz

Das Ai2-Team hat OLMoTrace bereits erfolgreich eingesetzt. „Wir nutzen es bereits, um unsere Trainingsdaten zu verbessern“, verriet Liu. „Als wir OLMo 2 entwickelten und mit dem Training begannen, stellten wir durch OLMoTrace fest, dass einige der Nach-Trainingsdaten tatsächlich nicht gut waren.“

Was dies für die Einführung von KI in Unternehmen bedeutet

Für Unternehmen, die an der Spitze der KI-Einführung stehen wollen, markiert OLMoTrace einen bedeutenden Fortschritt hin zu verantwortungsvolleren KI-Systemen. Das Tool ist unter einer Apache 2.0 Open-Source-Lizenz verfügbar, was bedeutet, dass jede Organisation mit Zugang zu den Trainingsdaten ihres Modells ähnliche Nachverfolgungsfunktionen implementieren kann.

„OLMoTrace kann mit jedem Modell funktionieren, solange Sie die Trainingsdaten des Modells haben“, betonte Liu. „Für vollständig offene Modelle, bei denen jeder Zugang zu den Trainingsdaten des Modells hat, kann jeder OLMoTrace für dieses Modell einrichten, und für proprietäre Modelle, bei denen einige Anbieter ihre Daten nicht freigeben wollen, können sie OLMoTrace auch intern nutzen.“

Da globale KI-Governance-Frameworks sich weiterentwickeln, werden Tools wie OLMoTrace, die Verifizierung und Prüfbarkeit ermöglichen, wahrscheinlich entscheidende Bestandteile von KI-Stacks in Unternehmen, insbesondere in regulierten Branchen, wo Transparenz zunehmend gefordert wird. Für technische Entscheidungsträger, die die Vor- und Nachteile der KI-Einführung abwägen, bietet OLMoTrace eine praktische Möglichkeit, vertrauenswürdigere und erklärbare KI-Systeme zu implementieren, ohne die Leistungsfähigkeit großer Sprachmodelle zu beeinträchtigen.