Die auf Stimmung basierende Bildbeschriftung birgt erhebliche Risiken

Obwohl sie oft nur sehr wenig oder gar nichts bezahlt werden, haben die anonymen Personen, die Bilder auf „schädliche“ Inhalte überprüfen, durch ihre Entscheidungen erheblichen Einfluss auf Ihr Leben. Eine neue groß angelegte Studie von Google legt nun nahe, dass diese Annotatoren oft ihre eigenen persönlichen Regeln dafür entwickeln, was „schädliches“ oder anstößiges Material ausmacht – unabhängig davon, wie ungewöhnlich oder subjektiv ihre Reaktionen auf ein Bild auch sein mögen. Was könnte also schiefgehen?

Meinung Diese Woche haben Google Research und Google Mind in einer gemeinsamen Initiative 13 Mitwirkende für eine neue Studie zusammengebracht, in der untersucht wird, ob die „Bauchgefühle“ von Bildannotatoren Einfluss darauf haben sollten, wie Bilder für Algorithmen bewertet werden – selbst wenn diese Gefühle im Widerspruch zu festgelegten Bewertungsrichtlinien stehen.

Dieses Thema ist für Sie von Bedeutung, da die Standards, auf die sich Annotatoren als anstößig einigen, tendenziell in automatisierte Moderationssysteme, rechtliche Definitionen von „obszönen“ oder „inakzeptablen“ Inhalten – wie die bevorstehende NSFW-Firewall* im Vereinigten Königreich (Australien wird bald folgen) – und Mechanismen zur Bewertung von Inhalten in sozialen Medien und anderen Plattformen einfließen.

Kurz gesagt: Je weiter gefasst die Kriterien für das sind, was als anstößig gilt, desto umfangreicher ist die potenzielle Zensur.

Stimmungszensur

Die Studie geht noch weiter. Sie zeigt auch, dass Bildbewerter oft strenger zensieren, wenn sie glauben, dass etwas andere beleidigen könnte, und nicht nur sich selbst. Darüber hinaus lösen Bilder von geringer Qualität häufig Sicherheitsbedenken aus, obwohl die Bildqualität nichts mit dem Inhalt zu tun hat.

In ihrer Schlussfolgerung hebt die Studie diese beiden Ergebnisse hervor, fast so, als ob ihr zentrales Argument nicht ausreichen würde – dennoch fühlten sich die Forscher gezwungen, die Studie trotzdem zu veröffentlichen.

Das ist zwar in der akademischen Veröffentlichungspraxis nicht ungewöhnlich, aber bei genauerer Betrachtung offenbart sich eine beunruhigende Tendenz: Die Praxis der Annotation scheint sich in Richtung einer Art „Stimmungsannotation” zu entwickeln

„Unsere Ergebnisse deuten darauf hin, dass bestehende Rahmenwerke subjektive und kontextuelle Dimensionen wie emotionale Reaktionen, implizite Urteile und kulturelle Interpretationen von Schaden berücksichtigen müssen. Die häufige Verwendung emotionaler Sprache durch Annotatoren und ihre Abweichung von vordefinierten Schadensbezeichnungen verdeutlichen Lücken in den aktuellen Bewertungspraktiken.

Die Erweiterung der Annotationsrichtlinien um anschauliche Beispiele für unterschiedliche kulturelle und emotionale Interpretationen kann dazu beitragen, diese Lücken zu schließen.”

Die neue Veröffentlichung verwendet einfache Beispiele, die bei den meisten Lesern Anklang finden, obwohl ihr Kerninhalt weitaus komplexere Fragen aufwirft. Hier wird jedes Bild von den emotionalen Reaktionen der Annotatoren begleitet. Quelle: https://arxiv.org/pdf/2507.16033

Auf den ersten Blick klingt dies nach einem vernünftigen Versuch, „Schaden“ in Bildern besser zu definieren – ein lobenswertes Ziel. Der Artikel deutet jedoch wiederholt an, dass dies möglicherweise nicht praktikabel oder sogar wünschenswert ist:

„Unsere Ergebnisse deuten darauf hin, dass bestehende Rahmenwerke subjektive und kontextuelle Dimensionen berücksichtigen müssen, wie emotionale Reaktionen, implizite Urteile und kulturelle Interpretationen von Schaden. Die häufige Verwendung emotionaler Sprache durch die Kommentatoren und ihre Abweichung von vordefinierten Schadensbezeichnungen verdeutlichen Lücken in den aktuellen Bewertungspraktiken.

Die Erweiterung der Annotationsrichtlinien um anschauliche Beispiele für unterschiedliche kulturelle und emotionale Interpretationen kann dazu beitragen, diese Lücken zu schließen […]

[…] Der Prozess, mit dem Annotatoren über mehrdeutige Bilder urteilen, spiegelt oft ihre persönlichen, kulturellen und emotionalen Perspektiven wider, die sich nur schwer strukturieren oder standardisieren lassen.“

Es ist schwer vorstellbar, wie die Einbeziehung „anschaulicher Beispiele für unterschiedliche kulturelle und emotionale Interpretationen” in ein rationales Bewertungssystem passen soll. Die Autoren setzen sich wiederholt mit diesem Punkt auseinander, ohne eine klare Lösung anzubieten, sodass ihr zentrales Argument ebenfalls den Eindruck erweckt, von „Stimmungen” geleitet zu sein – obwohl es sich um immaterielle psychologische Faktoren handelt.

Einfach ausgedrückt könnte eine solche Erweiterung der Anmerkungskriterien dazu führen, dass Inhalte – oder ganze Themen –, auf die ein Annotator stark reagiert, unterdrückt oder verschleiert werden.

Binäre Beurteilung

Die Quantifizierung des durch Bilder und Texte verursachten Schadens ist von Natur aus schwierig, zumal sich „Hochkultur“ und „Populärkultur“ oft überschneiden – wie man es in der Kunst und Literatur sieht. Dies hat zu frühen Formen der „vibebasierten“ Zensur geführt, bei der obszönes Material nicht nach einer strengen Definition beurteilt wird, sondern nach dem Prinzip „man erkennt es, wenn man es sieht“.

Unter der ausführlichen Diskussion über Empathie und Nuancen hinterfragt der Artikel subtil die Autorität zentralisierter, standardisierter Kategorien wie „Gewalt”, „Nacktheit” und „Hass” – Kategorien, die es Plattformen ermöglichen, eine skalierbare Moderation mit angemessener Genauigkeit zu implementieren.

Das sich abzeichnende Argument lautet, dass nur ein dezentrales, subjektives und kontextbewusstes menschliches Urteil die Ergebnisse von GenAI angemessen bewerten kann.

Dieser Ansatz ist jedoch nicht skalierbar. Man kann nicht Milliarden von Bildern auf der Grundlage von „Stimmungen“ und persönlichen Erfahrungen filtern. Schaden muss in spezifischen Eigenschaften quantifiziert werden; Filtersysteme benötigen klare Grenzen; und Grenzfälle erfordern aktualisierte Richtlinien – ähnlich wie manchmal neue Gesetze erforderlich sind, um einzigartigen Missständen zu begegnen.

Stattdessen scheint sich das Papier für ein automatisiertes Moderationssystem auszusprechen, das seinen Anwendungsbereich automatisch erweitert – so vorsichtig, dass selbst die sehr persönliche Reaktion eines einzelnen Annotators dazu führen könnte, dass ein Bild, das niemanden sonst beleidigt, sanktioniert wird.

Moralische Erweiterung

Obwohl die Studie explorativer Natur ist, wendet sie wissenschaftliche Methoden an: Die Autoren schufen einen Rahmen, um ein breiteres Spektrum an Reaktionen der Annotatoren auf Bilder zu identifizieren – wenn auch nicht streng zu messen – und untersuchten, wie diese je nach Geschlecht und anderen demografischen Merkmalen variieren.

Über die Analyse^{des Schadensfokus†} hinaus untersuchte die Studie das „moralische Denken” in den zusätzlichen Kommentaren der Kommentatoren. Die Teilnehmer wurden gebeten, einen modifizierten Datensatz mit Bildern, Aufforderungen und zugehörigem Text zu kommentieren.

Dieser „moralische Sentiment-Autorater” wurde entwickelt, um moralische Werte wie Fürsorge, Gleichheit, Verhältnismäßigkeit, Loyalität, Autorität und Reinheit zu erfassen, basierend auf der Moral Foundations Theory – einem psychologischen Modell, das aufgrund seiner Fluidität für die Erstellung konkreter Definitionen, wie sie in groß angelegten Bewertungssystemen benötigt werden, ungeeignet ist.

Inspiriert von dieser Theorie führten die Autoren zusätzliche Sicherheitsdimensionen ein, darunter Angst, Wut, Traurigkeit, Ekel, Verwirrung und Unheimlichkeit.

Die Autoren gehen näher auf Angst ein:

„Viele Annotatoren verwendeten Begriffe wie „beängstigend“ (z. B. für verzerrte Gesichter oder Bilder, die Gewalt suggerieren, wie eine auf ein Kind gerichtete Waffe), „beunruhigend“ (z. B. „Es ist absolut abscheulich, jemanden überfahren zu sehen, sehr beunruhigend und verstörend“ oder „Beunruhigend und sieht aus wie Blut“ für rote Farbe) oder „verstörend“ (z. B. „Das Bild des Jungen weist viele Verzerrungen auf ... Ich finde es geschmacklos, weil es so aussieht, als würde der Junge auf der falschen Seite der Seitengitter spielen“).

Die [Grafik unten] zeigt, dass „Angst“ die am häufigsten genannte Emotion war (233 Nennungen). Während fast die Hälfte davon mit gewalttätigen Inhalten in Verbindung stand, stammte die zweithöchste Anzahl von Angstnennungen aus Inhalten, die als nicht schädlich eingestuft wurden.

Verteilung emotionsbezogener Begriffe über Schadenskategorien, wobei die Balkenhöhe den Anteil der Kommentare angibt, die Anzahl innerhalb der Balken angezeigt wird und die Gesamtzahl der Kommentare über jeder Kategorie angegeben ist.

Zu diesen neuen Sicherheitsdimensionen stellen die Autoren fest:

„Diese sich abzeichnenden Themen unterstreichen die dringende Notwendigkeit, KI-Bildbewertungsrahmen durch die Integration subjektiver, emotionaler und wahrnehmungsbezogener Elemente zu bereichern.“

Diese Vorgehensweise könnte riskant sein, da sie es ermöglichen könnte, dass bei der Annotation willkürlich Regeln auf der Grundlage individueller Reaktionen eingeführt werden, anstatt von allen Annotatoren die Einhaltung einheitlicher Standards zu verlangen.

Wenn es hier ein wirtschaftliches Motiv gibt, dann ist es, dass dieses Modell eine hyperskalierte menschliche Annotation ermöglicht: ein reibungsloses, sich selbst regulierendes System, in dem die Teilnehmer die Regeln selbst definieren.

Bei der Standardannotation werden die Regeln einvernehmlich vereinbart und von den Annotatoren befolgt. Bei dem in der Veröffentlichung vorgeschlagenen Modell wird diese Kontrolle reduziert oder aufgehoben, was bedeutet, dass jedes Bild, das auch nur eine Person beleidigt, markiert werden könnte, unter anderem weil die Konsensbildung kostspielig und zeitaufwändig ist.

Rorschach-Urteile

Das Ziel der Annotation ist es, durch fachkundige Aufsicht, Konsens oder idealerweise beides genaue Beschreibungen zu erstellen. Die Erweiterung einer klaren Hierarchie von Schäden zu einem „intuitiven”, sehr persönlichen Prozess ist wie die Annotation eines Rorschach-Tests.

Beispielsweise stellt das Papier fest, dass einige Annotatoren eine schlechte Bildqualität – wie JPEG-Artefakte oder technische Mängel – als „störend“ oder „auf Schaden hinweisend“ interpretierten :

„Dies geschah, obwohl in der Aufgabe keine Anweisungen zur Bildqualität enthalten waren. Darüber hinaus interpretierten die Annotatoren diese Qualitätsartefakte als semantisch bedeutsam.

Ein Kommentator bemerkte: „Das Bild ist überhaupt nicht schädlich, er hat nur ein etwas verzerrtes Gesicht.“ In ähnlicher Weise sahen andere Bildfehler als absichtliche Schädigung an und schrieben den Störungen eine emotionale Bedeutung zu. Ein Kommentator interpretierte beispielsweise ein verzerrtes Gesicht als „Hinweis auf Schmerz“.

Indem subjektive, emotionale oder kontextspezifische Reaktionen Vorrang vor vordefinierten Sicherheitskennzeichnungen haben, birgt dieser Ansatz die Gefahr, dass ein System entsteht, in dem alles willkürlich als schädlich gekennzeichnet werden kann – was zu einem „abschreckenden Effekt“ der ad hoc-Entfernung oder Neukategorisierung von Inhalten führt, insbesondere bei Material, das bestimmte Interessengruppen beleidigen könnte.

Die Abhandlung „Just a strange pic”: Evaluating ‘safety' in GenAI Image safety annotation tasks from diverse annotators' perspectives ist auf Arxiv verfügbar.

* Eine vereinfachte Referenz, da dies nicht der Hauptfokus ist. Nach dem neuen Gesetz müssen beleidigende Websites entweder Selbstkontrolle ausüben, kostspielige Überprüfungs- und Altersverifizierungssysteme implementieren (was nur für große Plattformen machbar ist) oder den Zugang aus Großbritannien sperren – wiederum auf eigene Kosten.

† Oft vereinfacht als „Denkt an die Kinder”-Meme, das die Nutzung der moralischen Handlungsfähigkeit anderer für scheinbar altruistische Zwecke satirisiert.

Erstveröffentlichung: Freitag, 25. Juli 2025