Urheberrechtlich geschützter Text verursacht bei KI-Modellen Halluzinationen, wie eine bahnbrechende Studie zeigt

Zensurmechanismen in Sprachmodellen könnten deren Fähigkeit beeinträchtigen, die Wahrheit auf breiterer Ebene zu vermitteln. Jüngste Forschungsergebnisse deuten darauf hin, dass dieselben internen Prozesse, die "unsichere" Antworten blockieren sollen, auch die Weitergabe von Sachinformationen hemmen. Dies bedeutet, dass Bemühungen, Modelle auf Sicherheit auszurichten, unbeabsichtigt zu mehr Halluzinationen führen könnten.

Seit Jahren konzentrieren sich die Entwickler auf die Reduzierung von Unwahrheiten in Sprachmodellen. Das Streben nach mehr Wahrhaftigkeit - durch die Eindämmung von Halluzinationen und die Ausrichtung der Modelle auf überprüfbare Fakten - ist zu einer dominierenden und weithin unterstützten Forschungsrichtung geworden.

Eine neue australische Studie deutet jedoch darauf hin, dass Alignment-Methoden - Trainingstechniken, die "unsicheren" Austausch einschränken - die Modelle möglicherweise daran hindern, genaue Antworten zu geben, indem sie strengere Kontrollen einführen:

Die Verbesserung der faktischen Genauigkeit eines Modells (in der Abbildung als "Wahrheitsverbesserung" bezeichnet) kann es in Aktivierungsbereiche führen, die seine Verweigerungsmechanismen umgehen. In ähnlicher Weise können Bearbeitungen, die darauf abzielen, Halluzinationen zu reduzieren, interne Repräsentationen über Sicherheitsgrenzen hinweg verschieben. Dies könnte es schädlichen Aufforderungen ermöglichen, die Schutzmechanismen zu umgehen, wenn die Ablehnungsmerkmale nicht sorgfältig isoliert und aufrechterhalten werden. Quelle: https://arxiv.org/pdf/2510.07775

Die Studie zeigt, dass die internen Bahnen, die für die Erinnerung an Fakten verantwortlich sind, auch das Verweigerungsverhalten steuern - der Mechanismus, der Modelle daran hindert, auf unsichere oder sensible Aufforderungen zu reagieren. Wenn Alignment-Techniken Ablehnungssignale zu stark verstärken, überschneiden sich diese Bahnen und verwischen die Fähigkeit des Modells, zwischen der Ablehnung schädlicher Inhalte und der versehentlichen Unterdrückung gültiger Informationen zu unterscheiden.

Ironischerweise nimmt mit der Verbesserung der Modelle bei der Ablehnung unangemessener Aufforderungen ihre Fähigkeit ab, die Wahrheit zu vermitteln.

Sensible Themen

Die obige Abbildung macht deutlich, dass die zentrale Herausforderung nicht nur darin besteht, den Nutzern faire und genaue Ergebnisse zu liefern, sondern auch die rechtlichen Risiken für LLM-Anbieter zu minimieren.

Die Fallstudie, auf die in den Bildern verwiesen wird, betrifft beispielsweise ein kontroverses Thema - rassenbasierte Gefängnisstatistiken -, das eine KI verantwortungsvoll mit Akademikern oder Forschern diskutieren könnte, aber vermeiden sollte, wenn es von böswilligen Akteuren manipuliert wird, die versuchen, missbräuchliche, beleidigende oder illegale Antworten zu erhalten.

Da angepasste LLMs die Absicht hinter einer Anfrage nicht einschätzen können, gehen sie standardmäßig vorsichtig vor:

Die Antworten auf sensible Aufforderungen variieren je nach Ausrichtungsstrategie. Ein sicherheitsorientiertes Modell blockiert die Anfrage vollständig, während ein wahrheitsorientiertes Modell einen faktischen Kontext bereitstellt, der die Informativität verbessert, aber die Unterdrückung reduziert. Dies unterstützt die Idee, dass Bearbeitungen, die den Wahrheitsgehalt erhöhen, die Ablehnungsschwellen senken können, was die Anfälligkeit für schädliche Aufforderungen erhöht, sofern die Ablehnungsmechanismen nicht geschützt sind.

Nebenbei bemerkt könnten diese Ergebnisse Kritiker der so genannten "woke"-Agenden zu der Behauptung veranlassen, dass stark angepasste Modelle weniger wahrheitsgetreu und nützlich sind als ihre unregulierten Gegenstücke.

Die Ergebnisse der Studie stützen diese Ansicht teilweise, kontextualisieren sie aber im Rahmen der breiteren Risiken, die mit der Verwendung nicht angepasster LLMs verbunden sind - einschließlich der rechtlichen Risiken bei straf- und zivilrechtlichen Verstößen sowie der Verbreitung von Fehlinformationen, die aufgrund von Kostenbeschränkungen nur schwer wirksam gefiltert werden können.

Verflochtene Funktionen

Um die zugrundeliegenden Mechanismen zu verstehen, kartierten die Forscher die Aktivierungen einzelner Aufmerksamkeitsköpfe und stellten fest, dass Merkmale, die mit Halluzination und Verweigerung in Verbindung gebracht werden , häufig überlappende Regionen innerhalb des Modells besetzen.

Sie entdeckten, dass eine Feinabstimmung oder Steuerung dieser Regionen zur Verringerung von Unwahrheiten die eingebauten Schutzmechanismen des Modells schwächen kann, da beide Funktionen einen ähnlichen latenten Raum teilen:

Die Verbesserung der faktischen Genauigkeit schwächt oft das Ablehnungsverhalten. Unsere Analyse zeigt, dass dies geschieht, weil sich die Komponenten, die Halluzinationen und Verweigerungsinformationen kodieren, überschneiden, was dazu führt, dass Angleichungsmethoden unbeabsichtigt Faktenwissen unterdrücken.

Wir untersuchen auch, wie die Feinabstimmung bei gutartigen Datensätzen, selbst bei solchen, die aus Sicherheitsgründen kuratiert wurden, die Ausrichtung aus demselben Grund beeinträchtigen kann.

Die Autoren schlagen vor, einen Sparse Autoencoder (SAE) zu verwenden - ein Netzwerk, das darauf ausgelegt ist, unterschiedliche Aktivierungsmuster zu isolieren -, um diese Funktionen zu trennen und die Sicherheit beim Wahrheitsfindungstraining zu erhalten. Dieser Ansatz zielt darauf ab, die Modelle sowohl sicherer als auch genauer zu machen, ohne die Qualität der Modelle zu beeinträchtigen.

Das neue Papier mit dem Titel The Unintended Trade-off of AI Alignment: Balancing Hallucination Mitigation and Safety in LLMs" stammt von fünf Forschern, die mit der Deakin University verbunden sind, sowie von unabhängigen Forschern.

Methodik

In der Studie wird untersucht, ob die Verbesserung der Wahrhaftigkeit von Sprachmodellen deren Fähigkeit schwächt, schädliche Aufforderungen abzulehnen, und ob beide Verhaltensweisen auf gemeinsamen internen Komponenten beruhen.

Beim Testen von zwei Methoden zur Verbesserung der Wahrhaftigkeit stellten die Autoren fest, dass eine Verbesserung der faktischen Genauigkeit die Anfälligkeit für Gefängnisausbrüche durchweg erhöht.

Dieser Zielkonflikt ist auf überlappende Aufmerksamkeitsköpfe zurückzuführen, die sowohl Fakten als auch Ablehnungssignale kodieren. Selbst eine harmlose Feinabstimmung, die den Nutzen verbessern soll, ohne die Sicherheit zu beeinträchtigen, kann die Sicherheitsvorkehrungen durch Veränderung der gemeinsamen Pfade stören.

In der Studie werden drei Schlüsselbegriffe definiert: Wahrheitsgehalt bezieht sich auf die Fähigkeit eines Modells, auf der Grundlage des verfügbaren Wissens korrekte Antworten zu geben, ohne harmlose Inhalte zu unterdrücken; Halluzinationen treten auf, wenn das Modell trotz Zugang zu korrekten Fakten falsche Informationen erzeugt; und Verweigerungsverhalten oder Sicherheitsausrichtung beschreibt Mechanismen, die Antworten auf schädliche oder sensible Aufforderungen blockieren.

Die Autoren stellen fest, dass diese Funktionen auf subtile Weise zusammenwirken:

Obwohl Wahrheitsgehalt und Sicherheit oft getrennt analysiert werden, enthalten Aufforderungen in der realen Welt häufig sensible Begriffe mit gutartiger Absicht (z. B. zur Analyse, Erkennung oder Aufklärung). In solchen Fällen können die Sicherheitsmechanismen überschießen - und genaue, nützliche Informationen unterdrücken - und den praktischen Wahrheitsgehalt durch Auslassung verringern.

Um Wahrhaftigkeit mit minimaler, angemessener Unterdrückung zu erreichen, ist es wichtig zu verstehen, wie sich Bearbeitungen, die die Faktizität erhöhen sollen, auf das Ablehnungsverhalten auswirken.

Die Autoren entwickelten ein LoRA, das ein konditioniertes LLM in Richtung eines "wahrhaftigeren" Zustands lenkt und Halluzinationen reduziert. Der Anhang des Papiers enthält mehrere Beispiele, die die unbeabsichtigten Folgen dieses Ansatzes veranschaulichen.

Die Analyse beginnt damit, dass wahrheitsfördernde Methoden wie Kopfsteuerung und latentes Richtungsmapping als absichtliche Änderungen der internen Berechnungen eines Modells behandelt werden.

Präzisionslenkung

Die Schlüsselfrage ist, ob diese Änderungen unbeabsichtigt dieselben Bahnen beeinflussen, die das Verweigerungsverhalten steuern. Um dies zu prüfen, wurden in der Studie Modelle auf ihre faktische Genauigkeit mit TruthfulQA und auf ihre Sicherheitsleistung unter gegnerischen Bedingungen mit AdvBench und StrongReject untersucht.

Zu den Basistechniken gehörten die Inferenzzeit-Intervention (ITI), die Aufmerksamkeitsköpfe aktiviert, die mit wahrheitsgemäßen Antworten verbunden sind, und TruthX, das Repräsentationen entlang einer erlernten "wahrheitsgemäßen" Richtung verschiebt.

Beide Methoden verbessern die Genauigkeit, machen es aber auch wahrscheinlicher, dass die Modelle auf schädliche Aufforderungen reagieren, die sie zuvor abgelehnt hätten.

Um Halluzinationsverhalten direkt zu isolieren und zu manipulieren, definierten die Autoren eine latente Richtung, die halluzinierten Antworten entspricht, und trainierten ein LoRA-Modul auf falschen Antworten aus dem TruthfulQA-Datensatz mit LLaMA3-8B-Instruct.

Dies ergab einen linearen Vektor, der den Unterschied zwischen wahrheitsgemäßen und halluzinierten Antworten darstellt und es ermöglicht, das Modell in Richtung Halluzination oder weg von Halluzination zu lenken.

Die Steuerung entlang der Halluzinationsrichtung verbessert die Genauigkeit bei TruthfulQA, erhöht aber die Angriffserfolgsrate (ASR) bei AdvBench und StrongReject, was den Kompromiss zwischen Wahrheitsgehalt und Sicherheit verdeutlicht.

Die Steuerung entlang der Halluzinationsachse verringerte die faktische Genauigkeit, während die Umkehrung der Richtung sie verbesserte. Die Anwendung dieser Technik auf schädliche Prompt-Benchmarks bestätigte frühere Ergebnisse: Wahrheitsgewinne gingen auf Kosten einer abgeschwächten Ablehnung. Selbst wenn die Halluzination als eine saubere lineare Richtung erfasst wurde, erhöhte die Verbesserung der faktischen Ausgabe die Anfälligkeit für unsichere Vervollständigungen.

Die Autoren betonen*:

'Dies unterstreicht den Kompromiss zwischen Wahrhaftigkeit und Sicherheit und zeigt, dass selbst wenn Wahrhaftigkeit als eine einzige lineare Richtung dargestellt wird, die Verbesserung der Faktizität auf Kosten einer schwächeren Sicherheitsausrichtung gehen kann.'

Daten und Tests

Um zu verhindern, dass die Feinabstimmung das Verweigerungsverhalten schwächt, wendeten die Autoren eine Methode an, um Verweigerungsmerkmale von denen zu trennen, die mit Halluzinationen verbunden sind. Sie identifizierten Aufmerksamkeitsköpfe, die an beiden Verhaltensweisen beteiligt sind, und verwendeten eine SAE, um latente Merkmale zu extrahieren , die spezifisch für Verweigerung sind.

Diese Merkmale definierten einen geschützten Unterraum. Während des Trainings wurden die Gradientenaktualisierungen so modifiziert, dass dieser Unterraum vermieden wurde, so dass das Modell Halluzinationen reduzieren konnte, ohne die Sicherheit zu beeinträchtigen.

Die Autoren nahmen eine Feinabstimmung mit dem CommonsenseQA-Datensatz vor und bewerteten die Leistung bei sechs Aufgaben zum logischen Denken: CSQA, HellaSwag, ARC Challenge, ARC Easy, WinoGrande und SST-2.

Die Zielmodule wurden mit LoRA mit Rang 8, einer Lernrate von 2×10-⁴, einem Gewichtsabfall von 0,01, einer Trainingsepoche und einer Stapelgröße von zwei fein abgestimmt. Bei allen Experimenten wurde der Optimierer AdamW verwendet.

Die Sicherheit wurde mit zwei schädlichen Inhaltsbenchmarks bewertet: AdvBench (500 Samples) und StrongReject (300 Prompts). Die Ausgaben wurden von LlamaGuard3 als sicher oder unsicher eingestuft.

Die Experimente wurden auf LLaMA3-8B-Instruct und Qwen2.5-Instruct durchgeführt.

Zu den Basismethoden gehörten SafeLoRA, SaLoRA, SAP und Vanilla Supervised Fine-Tuning (SFT). Mit Ausnahme von SafeLoRA wurden alle mit Standard-Hyperparametern unter Verwendung von 200 Prompts aus HarmBench getestet.

Die Genauigkeit war die primäre Metrik, und die Angriffserfolgsrate (ASR) wurde für schädliche Benchmarks verwendet, basierend auf den Ergebnissen von LlamaGuard3.

Oben: Ergebnisse von LLaMA-3-8B-Instruct, wobei die besten Ergebnisse fett gedruckt sind. Unten: Leistung der Feinabstimmungsmethoden auf Qwen2.5 7B-Instruct über Commonsense- und Reasoning-Aufgaben (höhere Werte zeigen eine bessere Genauigkeit an) und Sicherheitsbenchmarks AdvBench und StrongReject (niedrigere ASR-Werte zeigen eine stärkere Robustheit an). Die besten Ergebnisse in jeder Spalte sind fett gedruckt.

Zu diesen Ergebnissen erklären die Autoren:

Unser chirurgischer Ansatz erzielt das beste Gleichgewicht zwischen Sicherheit und Nutzen: Er reduziert die schädlichen Benchmark-Ergebnisse erheblich und erhält gleichzeitig die Genauigkeit der Feinabstimmung. Im Gegensatz dazu erhöhen Methoden wie SAP, SaLoRA und SafeLoRA entweder die Schädlichkeit oder verschlechtern den Nutzen.

Ein Hauptgrund dafür ist, dass diese Methoden direkt mit dem Gradienten des Sicherheitsunterraums arbeiten, der aufgrund der Polysemantik [**] die Modellleistung einschränken kann.

Im Vergleich zur Vanille-Feinabstimmung (SFT) verbessert unsere Methode die durchschnittliche Feinabstimmungsgenauigkeit (FA) von 56,15 % auf 75,09 %, was einem Gewinn von etwa +19 % entspricht.

Die Methode reduzierte die Angriffserfolgsrate von 9,23 % auf 0,58 % bei AdvBench und von 9,90 % auf 0,00 % bei StrongReject - ein mehr als fünfzehnfacher Rückgang der schädlichen Ergebnisse. Das Basismodell hatte zwar eine geringe Schädlichkeit, erreichte aber nur eine begrenzte Aufgabengenauigkeit.

Die Autoren merken an:

Diese Ergebnisse unterstreichen die Bedeutung der Erhaltung von Ablehnungsmerkmalen während der Feinabstimmung: Durch die Isolierung und den Schutz des Ablehnungsunterraums behält unsere Methode die Sicherheitsausrichtung bei, ohne die Aufgabenleistung zu beeinträchtigen.

Insgesamt bestätigt dies, dass unser Ansatz den Zielkonflikt zwischen Wahrheitsgehalt und Sicherheit wirksam abmildert.

Schließlich testeten die Autoren die Widerstandsfähigkeit der Methode unter ungünstigen Bedingungen, indem sie 10 % schädliche Anweisungen aus dem Circuit-Break-Datensatz zum Feinabstimmungssatz hinzufügten.

Trotz dieser absichtlichen Verunreinigung blieb die Leistung des Ansatzes sowohl bei gutartigen als auch bei schädlichen Auswertungen hoch:

Die Leistung von LLaMA3 8B Instruct wurde auf einem vergifteten Commonsense-Datensatz feinabgestimmt, wobei die Genauigkeits- und Sicherheitsergebnisse der verschiedenen Methoden verglichen wurden.

Die neue Methode reduzierte die ASR effektiver als SAP und vermied gleichzeitig einen signifikanten Nutzenverlust. Die Aufgabengenauigkeit blieb nahe an der von LoRA SFT und SafeLoRA, was zeigt, dass die Ablehnungsausrichtung auch unter kontaminierten Trainingsbedingungen beibehalten werden kann, wenn die Ablehnungsmerkmale richtig isoliert werden.

Schlussfolgerung

Die faszinierendste Erkenntnis