L'étiquetage d'images basé sur l'ambiance présente des risques importants

Bien qu'ils soient souvent très peu ou pas rémunérés, les anonymes qui évaluent les images à la recherche de contenus « préjudiciables » exercent un pouvoir considérable sur votre vie à travers leurs décisions. Une nouvelle étude majeure menée par Google suggère désormais que ces annotateurs développent souvent leurs propres règles personnelles pour déterminer ce qui constitue un contenu « préjudiciable » ou offensant, quelle que soit l'étrangeté ou la subjectivité de leurs réactions face à une image. Alors, qu'est-ce qui pourrait mal tourner ?

Opinion Cette semaine, une initiative conjointe de Google Research et Google Mind a réuni 13 contributeurs autour d'un nouvel article examinant si les « intuitions » des annotateurs d'images devraient influencer la manière dont les images sont évaluées par les algorithmes, même lorsque ces intuitions sont en contradiction avec les directives d'évaluation établies.

Cette question vous concerne, car les normes sur lesquelles les annotateurs s'accordent pour qualifier un contenu d'offensant ont tendance à être intégrées dans les systèmes de modération automatisés, les définitions juridiques des contenus « obscènes » ou « inacceptables » (comme le prochain pare-feu NSFW* au Royaume-Uni, bientôt suivi par l'Australie) et les mécanismes d'évaluation des contenus sur les réseaux sociaux et autres plateformes.

En bref, plus les critères définissant ce qui est considéré comme offensant sont larges, plus la censure potentielle est étendue.

Censure par ambiance

L'étude ne s'arrête pas là. Elle révèle également que les évaluateurs d'images censurent souvent plus strictement en fonction de ce qu'ils pensent pouvoir offenser les autres, et pas seulement eux-mêmes. De plus, les images de mauvaise qualité suscitent souvent des inquiétudes en matière de sécurité, même si la qualité de l'image n'a aucun rapport avec le contenu.

Dans sa conclusion, l'article met en évidence ces deux conclusions, presque comme si son argument central était insuffisant, mais les chercheurs se sont néanmoins sentis obligés de le publier.

Bien que cela ne soit pas inhabituel dans les publications universitaires, une lecture plus attentive révèle un courant sous-jacent plus troublant : les pratiques d'annotation pourraient évoluer vers ce que l'on pourrait appeler l'annotation d'ambiance:

« Nos conclusions suggèrent que les cadres existants doivent tenir compte des dimensions subjectives et contextuelles, telles que les réactions émotionnelles, les jugements implicites et les interprétations culturelles du préjudice. L'utilisation fréquente d'un langage émotionnel par les annotateurs et leur divergence par rapport aux étiquettes de préjudice prédéfinies mettent en évidence les lacunes des pratiques d'évaluation actuelles.

L'élargissement des directives d'annotation afin d'inclure des exemples illustratifs d'interprétations culturelles et émotionnelles diverses peut contribuer à combler ces lacunes. »

Le nouvel article utilise des exemples simples qui trouvent un écho auprès de la plupart des lecteurs, bien que son contenu principal soulève des questions beaucoup plus complexes. Ici, chaque image est accompagnée des réactions émotionnelles des annotateurs. Source : https://arxiv.org/pdf/2507.16033

À première vue, cela semble être un effort raisonnable pour mieux définir le « préjudice » dans les images, ce qui est un objectif louable. Mais l'article suggère à plusieurs reprises que cet objectif n'est peut-être pas réalisable, voire souhaitable :

« Nos conclusions suggèrent que les cadres existants doivent tenir compte des dimensions subjectives et contextuelles, telles que les réactions émotionnelles, les jugements implicites et les interprétations culturelles du préjudice. L'utilisation fréquente d'un langage émotionnel par les annotateurs et leur divergence par rapport aux étiquettes de préjudice prédéfinies mettent en évidence les lacunes des pratiques d'évaluation actuelles.

L'élargissement des directives d'annotation afin d'y inclure des exemples illustratifs d'interprétations culturelles et émotionnelles diverses peut contribuer à combler ces lacunes [...]

[...] Le processus par lequel les annotateurs raisonnent sur des images ambiguës reflète souvent leurs perspectives personnelles, culturelles et émotionnelles, qui sont difficiles à structurer ou à normaliser. »

Il est difficile de voir comment l'inclusion d'« exemples illustratifs d'interprétations culturelles et émotionnelles diverses » s'intègre dans un système de notation rationnel. Les auteurs se penchent à plusieurs reprises sur ce point sans proposer de solution claire, ce qui donne l'impression que leur argument central est lui aussi motivé par des « vibrations », même s'il traite de facteurs psychologiques intangibles.

En termes simples, élargir les critères d'annotation de cette manière pourrait permettre de supprimer ou de masquer tout contenu, voire des sujets entiers, auxquels un annotateur réagit fortement.

Jugement binaire

Il est intrinsèquement difficile de quantifier le préjudice causé par des images et des textes, d'autant plus que la culture « haute » et la culture « basse » se recoupent souvent, comme on le voit dans l'art et la littérature. Cela a conduit à des formes précoces de censure « basée sur les vibrations », où les contenus obscènes sont jugés non pas selon une définition stricte, mais selon le principe « vous le savez quand vous le voyez ».

Au-delà de sa discussion approfondie sur l'empathie et les nuances, l'article remet subtilement en question l'autorité des catégories centralisées et standardisées telles que « violence », « nudité » et « haine », qui permettent aux plateformes de mettre en œuvre une modération évolutive avec une précision raisonnable.

L'argument qui émerge est que seul un jugement humain décentralisé, subjectif et sensible au contexte peut évaluer correctement les résultats de l'IA générative.

Mais cette approche n'est pas évolutive. Il est impossible de filtrer des milliards d'images en se basant sur des « impressions » et des expériences personnelles. Les dommages doivent être quantifiés en propriétés spécifiques ; les systèmes de filtrage ont besoin de limites claires ; et les cas limites nécessitent des directives mises à jour, tout comme de nouvelles lois sont parfois nécessaires pour répondre à des griefs particuliers.

Au lieu de cela, l'article semble préconiser un système de modération automatisé qui élargit automatiquement son champ d'application, à tel point que même la réaction très personnelle d'un annotateur pourrait pénaliser une image qui n'offense personne d'autre.

Expansion morale

Bien que de nature exploratoire, l'article applique des méthodes scientifiques : les auteurs ont créé un cadre permettant d'identifier, sans toutefois les mesurer strictement, un éventail plus large de réactions des annotateurs aux images, et ont examiné comment celles-ci varient en fonction du sexe et d'autres caractéristiques démographiques.

Au-delà de l'analyse^{de l'accent mis sur le préjudice†}, l'étude a examiné le « raisonnement moral » dans les commentaires supplémentaires des annotateurs. Les participants ont été invités à annoter un ensemble de données modifié contenant des images, des invites et du texte associé.

Cet « auto-évaluateur de sentiments moraux » a été conçu pour saisir des valeurs morales telles que la bienveillance, l'égalité, la proportionnalité, la loyauté, l'autorité et la pureté, sur la base de la théorie des fondements moraux, un modèle psychologique qui, en raison de sa nature fluide, est mal adapté à la création des définitions concrètes nécessaires dans les systèmes de notation à grande échelle.

Inspirés par cette théorie, les auteurs ont introduit des dimensions de sécurité supplémentaires, notamment la peur, la colère, la tristesse, le dégoût, la confusion et l'étrangeté.

Les auteurs développent la notion de peur:

« De nombreux annotateurs ont utilisé des termes tels que « effrayant » (par exemple, pour des visages déformés ou des images suggérant la violence, comme un pistolet pointé sur un enfant), « dérangeant » (par exemple, « C'est absolument horrible de voir quelqu'un se faire renverser, c'est très pénible et dérangeant » ou « dérangeant et ressemble à du sang » pour de la peinture rouge), ou « bouleversant » (par exemple, « L'image du garçon comporte de nombreuses déformations... Je trouve cela déplaisant car il semble que le garçon joue du mauvais côté des barrières latérales »).

Le [graphique ci-dessous] montre que la « peur » était l'émotion la plus fréquemment mentionnée (233 mentions). Si près de la moitié d'entre elles étaient liées à des contenus violents, le deuxième plus grand nombre de mentions de la peur provenait de contenus jugés non préjudiciables.

Répartition des termes liés aux émotions entre les différentes catégories de préjudice, les hauteurs des barres indiquant les proportions de commentaires, les nombres affichés dans les barres et le nombre total de commentaires indiqué au-dessus de chaque catégorie.

Concernant ces nouvelles dimensions de sécurité, les auteurs déclarent :

« Ces thèmes émergents soulignent la nécessité cruciale d'enrichir les cadres d'évaluation des images par l'IA en intégrant des éléments subjectifs, émotionnels et perceptifs. »

Cette orientation pourrait être risquée, car elle pourrait permettre aux processus d'annotation d'introduire arbitrairement des règles basées sur des réactions individuelles, plutôt que d'exiger de tous les annotateurs qu'ils suivent des normes cohérentes.

S'il y a une motivation économique ici, c'est que ce modèle permet une annotation humaine à très grande échelle: un système sans friction et autorégulé où les participants définissent eux-mêmes les règles.

Dans le cadre d'une annotation standard, les règles sont convenues par consensus et suivies par les annotateurs. Dans le modèle proposé par l'article, cette surveillance est réduite ou supprimée, ce qui signifie que toute image qui offense ne serait-ce qu'une seule personne pourrait être signalée, en partie parce que la recherche d'un consensus est coûteuse et prend beaucoup de temps.

Jugements de Rorschach

L'objectif de l'annotation est de produire des descriptions précises grâce à la supervision d'experts, au consensus ou, idéalement, aux deux. Étendre une hiérarchie claire des préjudices à un processus « intuitif » et hautement personnel revient à annoter un test de Rorschach.

Par exemple, l'article note que certains annotateurs ont interprété la mauvaise qualité des images, telle que les artefacts JPEG ou les défauts techniques, comme « dérangeante » ou « indicative d'un préjudice » :

« Cela s'est produit malgré l'absence d'instructions sur la qualité de l'image dans la tâche. De plus, les annotateurs ont interprété ces artefacts de qualité comme ayant une signification sémantique.

Un annotateur a commenté : « L'image n'est pas du tout préjudiciable ; il a juste le visage un peu déformé. » De même, d'autres ont considéré les défauts de l'image comme un préjudice intentionnel, attribuant une signification émotionnelle aux anomalies. Par exemple, l'un d'eux a interprété un visage déformé comme « révélateur de douleur ».

En privilégiant les réactions subjectives, émotionnelles ou contextuelles par rapport aux étiquettes de sécurité prédéfinies, cette approche risque de créer un système dans lequel tout peut être arbitrairement signalé comme préjudiciable, ce qui entraîne un « effet dissuasif » de suppression ou de recatégorisation ad hoc du contenu, en particulier pour les documents susceptibles d'offenser des groupes d'intérêt spécifiques.

L'article « Just a strange pic » : Évaluation de la « sécurité » dans les tâches d'annotation de sécurité des images GenAI du point de vue de divers annotateurs est disponible sur Arxiv.

* Une référence simplifiée, car ce n'est pas le sujet principal. En vertu de la nouvelle loi, les sites incriminés doivent soit s'autocontrôler, soit mettre en place des systèmes coûteux de vérification et de contrôle de l'âge (ce qui n'est faisable que pour les grandes plateformes), soit bloquer l'accès au Royaume-Uni, là encore à leurs propres frais.

† Souvent simplifié sous la forme du mème « pensez aux enfants », qui satirise l'utilisation de l'autorité morale d'autrui à des fins apparemment altruistes.

Publié pour la première fois le vendredi 25 juillet 2025.