Bekämpfung von KI-Bildhalluzinationen durch Verstärkung ihrer Schwächen

Heim

Nachricht

22. Dezember 2025

RalphRoberts

Sehmodelle wie ChatGPT erfinden häufig Elemente, die in einem Bild fehlen. Ein neuartiger Ansatz reduziert diese Fehler, indem er aus den Bildunterschriften übertriebene Versionen der halluzinierten Details des Modells generiert und es dann auffordert, diese zu überarbeiten. Diese Technik erfordert kein Neutraining oder zusätzliche Daten, so dass sie auf verschiedene Modelle und Architekturen anwendbar ist.

Eine neue Studie aus China befasst sich mit dem hartnäckigen Problem der Halluzinationen in KI-generierten Bildern und Videos - Details, die eindeutig der Aufforderung des Benutzers widersprechen.

Der Prozess beginnt ganz konventionell: Das Modell beschreibt ein Bild. Diese Beschriftung wird dann in ein Text-Bild-Modell eingespeist, um ein neues Bildzu erzeugen - allezusätzlichen Objekte oder Merkmale in dieser Rekonstruktion verraten direkt die ursprünglichen Halluzinationen des Modells. Durch den Vergleich der ursprünglichen und der erzeugten Bilder kann das System das Modell so steuern, dass es diese Fehler bei künftigen Versuchen nicht mehr wiederholt.

Eine Illustration, wie die neue Methode Halluzinationen in Bildunterschriften identifiziert und reduziert. Das reguläre Modell beschreibt Vögel, die im Originalbild nicht vorhanden sind, und führt zu einem rekonstruierten Bild, in dem sie hinzugefügt werden. Diese Fehler sind in rot markiert. Im Gegensatz dazu vermeidet die vorgeschlagene Methode diese erfundenen Details und hält die Bildunterschrift spezifisch und flüssig. Quelle: https://arxiv.org/pdf/2509.21997

Dieses Diagramm zeigt, wie die neue Technik Erfassungshalluzinationen erkennt und minimiert. Ein Standardmodell fügt seiner Beschreibung eines Bildes fälschlicherweise Vögel hinzu, und die rekonstruierte Version fügt sie visuell ein (rot hervorgehoben). Die neue Methode vermeidet diese Fälschungen und behält gleichzeitig die Genauigkeit der Beschreibung bei. Quelle: https://arxiv.org/pdf/2509.21997

Die Methode beginnt damit, dass das Modell reale Bilder beschreibt, die manchmal Objekte oder Details enthalten , die in Wirklichkeit nicht vorhanden sind. Diese ungenauen Beschriftungen erzeugen synthetische Bilder, die die Fehler hervorheben. Durch den Vergleich von realen und synthetischen Bildern identifiziert das System interne Muster, die zu erfundenen Inhalten führen.

Sobald diese Fehlermuster erkannt sind, werden sie zur späteren Verwendung gespeichert. Bei der Beschriftung eines neuen Bildes passt das System die internen Signale des Modells an und lenkt es weg von bekannten Halluzinationsauslösern. Diese Korrektur erfolgt in einem einzigen Durchgang ohne zusätzliche Daten, ohne erneutes Training und ohne Bilderzeugung während des Tests.

Die Herausforderung der Verschränkung

Im Beispiel der Arbeit erklärt die "Verschränkung" wahrscheinlich, warum Vögel zu einem Bild hinzugefügt wurden, das keine enthielt.

Eine Verflechtung liegt vor, wenn ein Modell bestimmte Konzepte stark miteinander verknüpft, weil sie in seinen Trainingsdaten häufig zusammen auftreten. In diesem Fall ist das Modell möglicherweise häufig auf Flugzeuge mit Vögeln gestoßen und hat so eine Assoziation geschaffen, die die Bildunterschrift fälschlicherweise beeinflusst.

Eine frühere Beendigung des Trainings kann zwar die Verflechtung reduzieren (und damit die Flexibilität des Modells erhöhen), verringert aber auch die konzeptionelle Detailgenauigkeit und Auflösung. Die Entwickler stehen vor einem ständigen Kompromiss: Bevorzugen sie ein flexibles, entflochtenes Modell oder ein generativeres, das anfällig für assoziierte Halluzinationen ist?

Im Idealfall würden die Bildunterschriften jedes vorhandene Objekt auflisten, so dass das Modell sie als separate, unzusammenhängende Einträge speichern könnte. SEO-gesteuerte Beschriftungspraktiken und großangelegtes Web-Scraping, die beim Training leistungsstarker generativer Modelle üblich sind, erfüllen diesen Standard jedoch oft nicht.

Ein Beispiel dafür, wie schwache Beschriftungen die Nützlichkeit von LAION-Bildern für das Training von Modellen wie Stable Diffusion einschränken. Viele der Textbeschriftungen sind oberflächlich, vage oder eher für SEO als für eine genaue Beschreibung optimiert, was es dem Modell erschwert, feinkörnige visuelle Konzepte wie z. B. Gesichtsmerkmale zu erlernen (Originalquelle war https://rom1504.github.io/, jetzt nicht mehr verfügbar).

Schwache Beschriftungen verringern den Wert von LAION-Bildern für das Training von Modellen wie Stable Diffusion. Die Beschriftungen sind oft oberflächlich, vage oder eher SEO-orientiert als beschreibend und behindern die Fähigkeit des Modells, detaillierte visuelle Konzepte wie Gesichtszüge zu lernen. (Ursprüngliche Quelle war https://rom1504.github.io/, jetzt nicht mehr verfügbar).

Da eine grundlegende Korrektur nicht praktikabel ist, sind Umgehungslösungen zur Verringerung von Halluzinationen bei LLMs und VLMs zu einem wichtigen Forschungsschwerpunkt geworden. Die neue chinesische Methode, die an verschiedenen Architekturen und Bedingungen getestet wurde, ist vielversprechend, um die "Halluzinationsverschmutzung" zu verringern.

Die Autoren erklären:

Ausführliche Experimente mit mehreren Benchmarks zeigen, dass unsere Methode Halluzinationen auf Objekt-, Attribut- und Beziehungsebene signifikant reduziert, während Recall und Caption [Richness] weitgehend erhalten bleiben".

Die Arbeit mit dem Titel Exposing Hallucinations To Suppress Them: VLMs Representation Editing With Generative Anchors stammt von Forschern der University of Science and Technology of China und der Nanjing University.

Wie die Methode funktioniert

Die Forscher entwickelten eine End-to-End-Pipeline zur Aufdeckung und Unterdrückung von Untertitel-Halluzinationen:

Eine Illustration der gesamten Pipeline. Ein visuelles Sprachmodell generiert zunächst eine Bildunterschrift aus dem Eingabebild, die auch halluzinierte Inhalte enthalten kann. Diese Beschriftung wird dann verwendet, um mit Hilfe eines Text-Bild-Modells ein rekonstruiertes Bild zu erzeugen, so dass Halluzinationen leichter zu erkennen sind. Einbettungen sowohl aus dem Originalbild als auch aus dem rekonstruierten Bild werden extrahiert und zur Steuerung von Anpassungen im Decoder verwendet, um dem Modell zu helfen, halluzinierte Details zu unterdrücken und gleichzeitig die Qualität der Beschriftung zu erhalten.

Die vollständige Abbildung der Pipeline. Ein Bildsprachenmodell generiert aus einem Eingabebild eine Bildunterschrift, die möglicherweise Halluzinationen enthält. Diese Beschriftung wird verwendet, um ein rekonstruiertes Bild über ein Text-Bild-Modell zu erstellen, wodurch Fehler sichtbar werden. Einbettungen aus beiden Bildern führen zu internen Anpassungen, die dem Modell helfen, erfundene Details zu reduzieren, ohne die Qualität der Beschriftung zu verlieren.

Ein Bildsprachmodell beschriftet zunächst ein reales Bild und erfindet dabei möglicherweise Objekte oder Beziehungen. Aus dieser Beschriftung wird dann ein rekonstruiertes Bild erzeugt, in dem alle Erfindungen als visuelle Diskrepanzen sichtbar werden. Der Vergleich der beiden Bilder verwandelt subtile Textfehler in messbare, korrigierbare Signale.

Um von Erfindungen abzuschrecken, vergleicht das System das Originalbild (eine zuverlässige Referenz) mit dem rekonstruierten Bild (und hebt Fehler hervor). Beide werden in eine kompakte Einbettung umgewandelt. Durch die Anpassung der internen Repräsentationen an das Original und die Abweichung von der Rekonstruktion korrigiert sich das Modell vollständig selbständig.

Das Papier erklärt:

Halluzinationen in MLLMs sind von Natur aus schwer zu erkennen, da sie sprachlich wohlgeformt und oft nicht von getreuen Beschreibungen auf Textebene zu unterscheiden sind. Die Diskrepanz liegt nicht in der sprachlichen Plausibilität, sondern in der fehlenden Übereinstimmung mit visuellen Belegen, auf die das Modell selbst in der Regel nicht reagiert.

Um hier Abhilfe zu schaffen, führen wir einen Mechanismus zur Aufdeckung von Halluzinationen ein, der die generative Rekonstruktion nutzt, um implizite Inkonsistenzen in explizite und beobachtbare Signale umzuwandeln.

Unter Verwendung des FLUX.1-dev Text-Bild-Modells erstellt das System ein Bild aus der Bildunterschrift und übertreibt dabei alle falschen Details. Diese verstärkten Fehler helfen dem Modell, seine Fehler zu erkennen und zu korrigieren.

Um den Ansatz zu validieren, fügten die Forscher Halluzinationen in die Bildunterschriften ein, erzeugten rekonstruierte Bilder und versahen sie anschließend mit LLaVA mit neuen Untertiteln. Sie maßen die semantische Ähnlichkeit zwischen den ursprünglichen und den halluzinierten Bildunterschriften:

Eine Illustration, wie der Mechanismus der Halluzinationsverstärkung subtile Fehler sichtbar macht. Jeder Punkt zeigt die Ähnlichkeit zwischen den Bildunterschriften des Originals und der rekonstruierten Bilder für ein Bildunterschriftenpaar. Die orangefarbene Linie stellt die direkt gemessene Ähnlichkeit zwischen dem Original und den halluzinierten Bildunterschriften dar, die hoch bleibt und kleine Fehler verdeckt; die blaue Linie stellt die Ähnlichkeit nach der Rekonstruktion dar, die stark abfällt, was zeigt, dass der Prozess versteckte Halluzinationen in klare semantische Markierungen verwandelt, die erkannt und korrigiert werden können.

Der Mechanismus zur Verstärkung von Halluzinationen macht subtile Fehler sichtbar. Jeder Punkt zeigt die Ähnlichkeit der Beschriftung für ein Bild-Beschriftungspaar. Die orangefarbene Linie (direkter Vergleich) bleibt hoch und maskiert Fehler; die blaue Linie (Post-Rekonstruktion) fällt stark ab und enthüllt versteckte Halluzinationen als erkennbare semantische Marker.

Die Ähnlichkeit nahm nach der Rekonstruktion deutlich ab, was die Fähigkeit der Methode zeigt, subtile Fehler aufzudecken.

Daten und Tests

Die Effektivität wurde anhand von drei Benchmarks validiert: Caption Hallucination Assessment with Image Relevance (CHAIR); MLLM Evaluation (MME); und Pooling-based Object Probing Evaluation (POPE).

Aus dem CHAIR-Papier: Beispiele für halluzinierte Objekte, die von zwei führenden Beschriftungssystemen, TopDown und NBT, erzeugt werden, wobei jedes Modell visuelle Elemente erfindet, die im Bild nicht vorhanden sind, wie Laptops, Waschbecken oder Surfbretter. Quelle: https://arxiv.org/pdf/1809.02156

Aus dem CHAIR-Release-Papier: Beispiele für halluzinierte Objekte, die von den Beschriftungssystemen TopDown und NBT erzeugt werden, die Elemente wie Laptops, Waschbecken oder Surfbretter erfinden, die auf dem Bild nicht vorhanden sind. Quelle: https://arxiv.org/pdf/1809.02156

Standardmetriken wie die Halluzinationsrate oder die Wiedererkennungsrate können irreführend sein - die Modelle könnten Fehler vermeiden, indem sie vage Beschriftungen produzieren. Um ein Gleichgewicht zwischen Genauigkeit und Vollständigkeit herzustellen, wurde die kombinierte Metrik Halluzinations- und Wiedererkennungsrate (HAR@β) verwendet, bei der die Beschriftungen nach beiden Faktoren mit einstellbarer Gewichtung bewertet werden.

POPE bewertete kontextabhängige Objekthalluzinationen und MME bewertete Halluzinationen auf Attributsebene, beide als Ja/Nein-Aufgaben.

Die Tests verwendeten das Flux-Modell und LLaVA-v1.5-7B auf Datensätzen wie Microsoft COCO, A-OKVQA und GQA. Die latente Bearbeitung zielte auf die zweite Schicht der Modelle ab, wobei die Hyperparameter und die Temperatur in allen Tests konsistent waren.

Die ersten CHAIR-Ergebnisse sind unten aufgeführt*:

Leistung beim CHAIR-Benchmark für die Abschwächung von Halluzinationen, bewertet anhand mehrerer Metriken.

Leistung beim CHAIR-Benchmark für die Abschwächung von Halluzinationen, bewertet mit mehreren Metriken.

Die Autoren merken an:

'[Unsere Methode übertrifft sowohl bei _CHAIRS als auch bei _CHAIRI[*] durchgängig andere Baselines, was ihre überlegene Wirksamkeit bei der Unterdrückung von Halluzinationen zeigt. Obwohl fast alle Methoden bei der Unterdrückung von Halluzinationen zwangsläufig zu einer Verringerung des Erinnerungsvermögens führen, was einen Kompromiss zwischen Treue und Informativität darstellt, erzielt unser Ansatz den geringsten Rückgang.

Dies zeigt, dass unsere Methode ein breites Spektrum von Objekten der Grundwahrheit erfasst. Mit der HAR@β-Metrik erreicht unsere Methode die höchste Punktzahl, was ihre Fähigkeit unterstreicht, Halluzinationen zu reduzieren und gleichzeitig die Abdeckung aufrechtzuerhalten.

Die starken Ergebnisse sind auf die duale Überwachung zurückzuführen: Verstärkung der sauberen Semantik des Originalbildes bei gleichzeitiger Unterdrückung irreführender Signale in der Rekonstruktion. Indem das System nur auf halluzinationsbezogene Richtungen abzielt, korrigiert es Fehler, ohne Details zu verlieren.

Vergleich der Leistung beim POPE-Benchmark unter verschiedenen Konfigurationen und Datensätzen.

Leistungsvergleich mit dem POPE-Benchmark über verschiedene Konfigurationen und Datensätze hinweg.

Zu den POPE-Ergebnissen heißt es in dem Papier:

Es ist zu beobachten, dass unsere Methode in allen Einstellungen durchweg die beste Leistung erzielt. Insbesondere erreicht unsere Methode im Durchschnitt eine Genauigkeit von bis zu +5,95 % und eine F1-Punktzahl von +6,85 % und übertrifft damit andere trainingsfreie Ansätze bei weitem.

Diese Ergebnisse zeigen, dass unsere Methode eine zuverlässige und verallgemeinerbare Lösung für verschiedene Schwierigkeitsgrade bietet.

Ab der dritten Testrunde, Leistungsvergleiche über MME.

Leistungsvergleiche aus der dritten Testrunde auf MME.

Der letzte Haupttest wurde auf MME durchgeführt, die Ergebnisse sind oben dargestellt. In der Arbeit wird jedoch die Methode "OPERA" ohne Definition im Haupttext oder im Anhang erwähnt. Die Autoren behaupten zwar, dass MME sehr gut abschneidet, aber das Fehlen von Details zur Methode legt eine vorsichtige Interpretation der Ergebnisse nahe.