S'attaquer aux hallucinations d'images de l'IA en amplifiant leurs défauts

Maison

Nouvelles

22 décembre 2025

RalphRoberts

146

Les modèles de vision comme ChatGPT inventent souvent des éléments manquants dans une image. Une nouvelle approche permet de réduire ces erreurs en générant des versions exagérées des détails hallucinés par le modèle à partir de ses légendes, puis en l'invitant à les réviser. Cette technique ne nécessite pas de recyclage ni de données supplémentaires, ce qui la rend largement applicable à divers modèles et architectures.

Une nouvelle étude chinoise s'attaque au problème épineux des hallucinations dans les images et les vidéos générées par l'IA - des détails qui contredisent clairement l'invitation de l'utilisateur.

Le processus commence de manière classique : le modèle décrit une image. Cette légende est ensuite introduite dans un modèle texte-image pour produire une nouvelle image - toutobjet ou caractéristique supplémentaire dans cette reconstruction révèle directement les hallucinations initiales du modèle. En comparant l'image originale et l'image générée, le système guide le modèle pour qu'il évite de répéter ces erreurs lors de ses prochaines tentatives.

Illustration de la façon dont la nouvelle méthode identifie et réduit les hallucinations dans les légendes d'images. Le modèle régulier décrit des oiseaux qui n'existent pas dans l'image originale, ce qui conduit à une image reconstruite qui les ajoute. Ces erreurs sont marquées en rouge. En revanche, la méthode proposée évite ces détails inventés tout en conservant la spécificité et la fluidité de la légende. Source : https://arxiv.org/pdf/2509.21997

Ce diagramme montre comment la nouvelle technique détecte et minimise les hallucinations des légendes. Un modèle standard ajoute incorrectement des oiseaux à sa description d'une image, et la version reconstruite les insère visuellement (surligné en rouge). La nouvelle méthode permet d'éviter ces fabrications tout en maintenant la précision de la description. Source : https://arxiv.org/pdf/2509.21997

La méthode commence par demander au modèle de décrire des images réelles, en incluant parfois des objets ou des détails qui ne sont pas réellement présents. Ces légendes inexactes génèrent des images synthétiques qui mettent en évidence les erreurs. En comparant les images réelles et synthétiques, le système identifie les schémas internes qui conduisent à des contenus inventés.

Une fois ces modèles d'erreurs reconnus, ils sont stockés pour une utilisation ultérieure. Lors du sous-titrage d'une nouvelle image, le système ajuste les signaux internes du modèle, en l 'éloignant des déclencheurs d'hallucinations connus. Cette correction s'effectue en une seule fois, sans données supplémentaires, sans réentraînement et sans génération d'images pendant les tests.

Le défi de l'enchevêtrement

Dans l'exemple de l'article, l'"enchevêtrement" explique probablement pourquoi des oiseaux ont été ajoutés à une image qui n'en contenait pas.

L'enchevêtrement se produit lorsqu'un modèle associe fortement certains concepts parce qu'ils apparaissent souvent ensemble dans ses données d'apprentissage. Dans le cas présent, le modèle peut avoir fréquemment rencontré des avions avec des oiseaux, créant ainsi une association qui influence à tort la légende.

Si le fait de terminer la formation plus tôt peut réduire l'enchevêtrement (en augmentant la flexibilité du modèle), cela diminue également les détails conceptuels et la résolution. Les développeurs sont confrontés à un compromis permanent : donner la priorité à un modèle flexible et démêlé ou à un modèle plus génératif susceptible d'être associé à des hallucinations ?

Idéalement, les légendes des images sources devraient détailler chaque objet présent, ce qui permettrait au modèle de les stocker en tant qu'entrées distinctes et démêlées. Toutefois, les pratiques de sous-titrage axées sur le référencement et le grattage du web à grande échelle - courant dans la formation de modèles génératifs puissants - ne respectent souvent pas cette norme.

Illustration de la faiblesse des légendes qui limite l'utilité des images LAION pour l'apprentissage de modèles tels que Stable Diffusion. De nombreuses étiquettes textuelles sont superficielles, vagues ou optimisées pour le référencement plutôt que pour une description précise, ce qui rend plus difficile l'apprentissage par le modèle de concepts visuels fins tels que les traits du visage (la source originale était https://rom1504.github.io/, aujourd'hui disparue).

Les légendes faibles réduisent la valeur des images LAION pour l'apprentissage de modèles tels que la diffusion stable. Les étiquettes sont souvent superficielles, vagues ou axées sur le référencement plutôt que descriptives, ce qui empêche le modèle d'apprendre des concepts visuels détaillés tels que les traits du visage. (La source originale était https://rom1504.github.io/, qui n'existe plus aujourd'hui).

Étant donné qu'il n'est pas possible d'apporter une solution fondamentale, les solutions de contournement visant à réduire les hallucinations dans les LLM et les VLM sont devenues un axe de recherche important. La nouvelle méthode chinoise, testée sur différentes architectures et conditions, semble prometteuse pour réduire la "pollution par les hallucinations".

Les auteurs déclarent :

Des expériences approfondies sur de nombreux points de référence montrent que notre méthode réduit considérablement les hallucinations au niveau des objets, des attributs et des relations, tout en préservant largement le rappel et la [richesse] des légendes.

L'article, intitulé Exposing Hallucinations To Suppress Them : VLMs Representation Editing With Generative Anchors, a été rédigé par des chercheurs de l'université des sciences et technologies de Chine et de l'université de Nanjing.

Fonctionnement de la méthode

Les chercheurs ont mis au point un pipeline de bout en bout pour exposer et supprimer les hallucinations des légendes :

Illustration de l'ensemble du processus. Un modèle de langage visuel génère d'abord une légende à partir de l'image d'entrée, qui peut comprendre un contenu halluciné. Cette légende est ensuite utilisée pour produire une image reconstruite à l'aide d'un modèle texte-image, ce qui permet de repérer plus facilement les hallucinations. Les encastrements de l'image originale et de l'image reconstruite sont extraits et utilisés pour guider les ajustements à l'intérieur du décodeur, ce qui aide le modèle à supprimer les détails hallucinés tout en préservant la qualité de la légende.

L'illustration complète du pipeline. Un modèle de langage visuel génère une légende à partir d'une image d'entrée, pouvant inclure des hallucinations. Cette légende est utilisée pour créer une image reconstruite à l'aide d'un modèle texte-image, ce qui rend les erreurs visibles. Les enregistrements des deux images guident les ajustements internes, aidant le modèle à réduire les détails inventés sans perdre la qualité de la légende.

Un modèle de langage visuel commence par légender une image réelle, en inventant éventuellement des objets ou des relations. Cette légende génère ensuite une image reconstruite, révélant toute invention sous la forme d'écarts visuels. La comparaison des deux images transforme les subtiles erreurs de texte en signaux mesurables et corrigeables.

Pour décourager les inventions, le système compare l'image originale (une référence fiable) à l'image reconstituée (mettant en évidence les erreurs). Chaque image est convertie en une représentation compacte. En ajustant les représentations internes pour qu'elles s'alignent plus étroitement sur l'original et divergent de la reconstruction, le modèle s'auto-corrige de manière entièrement auto-supervisée.

L'article explique :

Les hallucinations dans les MLLM sont intrinsèquement difficiles à détecter parce qu'elles sont linguistiquement bien formées et souvent impossibles à distinguer des descriptions fidèles au niveau du texte. L'écart ne réside pas dans la plausibilité de la langue, mais dans le décalage avec les preuves visuelles, auquel le modèle lui-même est généralement insensible.

Pour y remédier, nous introduisons un mécanisme d'exposition aux hallucinations qui s'appuie sur la reconstruction générative pour convertir les incohérences implicites en signaux explicites et observables.

À l'aide du modèle texte-image FLUX.1-dev, le système recrée une image à partir de la légende, en exagérant les détails erronés. Ces erreurs amplifiées aident le modèle à reconnaître et à corriger ses erreurs.

Pour valider l'approche, les chercheurs ont injecté des hallucinations dans les légendes, généré des images reconstruites, puis les ont recréées avec LLaVA. Ils ont mesuré la similarité sémantique entre les légendes originales et les légendes hallucinées :

Illustration de la façon dont le mécanisme d'amplification des hallucinations rend visibles des erreurs subtiles. Chaque point montre la similarité entre les légendes des images originales et reconstruites pour une paire image-légende. La ligne orange représente la similarité mesurée directement entre les légendes originales et hallucinées, qui reste élevée et masque les petites erreurs ; la ligne bleue représente la similarité après reconstruction, qui chute brusquement, montrant que le processus transforme les hallucinations cachées en marqueurs sémantiques clairs qui peuvent être détectés et corrigés.

Le mécanisme d'amplification des hallucinations permet de visualiser les erreurs subtiles. Chaque point indique la similarité des légendes pour une paire image-légende. La ligne orange (comparaison directe) reste élevée, masquant les erreurs ; la ligne bleue (post-reconstruction) chute brusquement, révélant les hallucinations cachées comme des marqueurs sémantiques détectables.

La similarité a diminué de manière significative après la reconstruction, ce qui démontre la capacité de la méthode à révéler des erreurs subtiles.

Données et tests

L'efficacité de la méthode a été validée à l'aide de trois critères de référence : Caption Hallucination Assessment with Image Relevance (CHAIR) ; MLLM Evaluation (MME ) ; et Pooling-based Object Probing Evaluation (POPE).

Extrait du document de publication de CHAIR : exemples d'objets hallucinés générés par deux grands systèmes de sous-titrage, TopDown et NBT, où chaque modèle invente des éléments visuels qui ne sont pas réellement présents dans l'image, tels que des ordinateurs portables, des lavabos ou des planches de surf. Source : https://arxiv.org/pdf/1809.02156

Extrait du document de publication de CHAIR : exemples d'objets hallucinés générés par les systèmes de sous-titrage TopDown et NBT, qui inventent des éléments tels que des ordinateurs portables, des éviers ou des planches de surf qui ne sont pas présents dans l'image. Source : https://arxiv.org/pdf/1809.02156

Les mesures standard telles que le taux d'hallucination ou le rappel peuvent être trompeuses - les modèles peuvent éviter les erreurs en produisant des légendes vagues. Pour équilibrer la précision et l'exhaustivité, la mesure combinée Hallucination et Rappel (HAR@β) a été utilisée, en notant les légendes sur les deux facteurs avec une pondération ajustable.

POPE a évalué les hallucinations d'objets sensibles au contexte, et MME a évalué les hallucinations au niveau de l'attribut, toutes deux sous forme de tâches Oui/Non.

Les tests ont utilisé le modèle Flux et LLaVA-v1.5-7B sur des ensembles de données comprenant Microsoft COCO, A-OKVQA et GQA. L'édition latente a ciblé la deuxième couche des modèles, avec des hyperparamètres et une température cohérents dans tous les tests.

Les premiers résultats de CHAIR sont présentés ci-dessous* :

Performance sur le benchmark CHAIR pour l'atténuation des hallucinations, évaluée à l'aide de plusieurs métriques.

Performance sur le benchmark CHAIR pour l'atténuation des hallucinations, évaluée avec de multiples métriques.

Les auteurs notent :

Notre méthode surpasse systématiquement les autres méthodes de référence sur _CHAIRS et _CHAIRI[*], ce qui démontre son efficacité supérieure dans la suppression des hallucinations. Par ailleurs, bien que presque toutes les méthodes réduisent inévitablement le rappel tout en supprimant les hallucinations, ce qui reflète un compromis entre la fidélité et l'informativité, notre approche obtient la baisse la plus faible.

Cela prouve que notre méthode permet de capturer un large éventail d'objets authentiques. Avec la métrique HAR@β, notre méthode obtient le score le plus élevé, soulignant sa capacité à réduire les hallucinations tout en maintenant la couverture.

Les bons résultats sont attribués à la double supervision : renforcer la sémantique propre de l'image originale tout en supprimant les signaux trompeurs de la reconstruction. En ciblant uniquement les directions liées aux hallucinations, le système corrige les erreurs sans perdre de détails.

Comparaison des performances sur le benchmark POPE sous différentes configurations et ensembles de données.

Comparaison des performances sur le benchmark POPE à travers différentes configurations et ensembles de données.

En ce qui concerne les résultats de l'étude POPE, l'article indique ce qui suit :

On peut observer que notre méthode obtient systématiquement les meilleures performances dans toutes les configurations. Notamment, notre méthode peut atteindre une précision de +5,95 % et un score F1 de +6,85 % en moyenne, ce qui surpasse largement les autres approches sans formation.

Ces résultats démontrent donc que notre méthode fournit une solution fiable et généralisable à différents niveaux de difficulté.

À partir de la troisième série de tests, les comparaisons de performances sur MME.

Comparaisons des performances lors du troisième cycle de tests sur MME.

Le dernier test principal a été effectué sur MME, et les résultats sont présentés ci-dessus. Cependant, l'article mentionne la méthode "OPERA" sans la définir dans le texte principal ou dans l'annexe. Alors que les auteurs revendiquent de bonnes performances sur MME, le manque de détails sur la méthode incite à la prudence dans l'interprétation de ces résultats.