Afrontar las alucinaciones de la IA amplificando sus defectos

Hogar

Noticias

22 de diciembre de 2025

RalphRoberts

144

Los modelos visuales como ChatGPT inventan con frecuencia elementos que faltan en una imagen. Un método novedoso reduce estos errores generando versiones exageradas de los detalles alucinados por el propio modelo a partir de sus pies de foto y, a continuación, pidiéndole que los revise. Esta técnica no requiere reentrenamiento ni datos adicionales, lo que la hace ampliamente aplicable a diversos modelos y arquitecturas.

Un nuevo estudio chino aborda el difícil problema de las alucinaciones en imágenes y vídeos generados por IA: detalles que contradicen claramente las indicaciones del usuario.

El proceso comienza de forma convencional: el modelo describe una imagen. A continuación, esa descripción se introduce en un modelo texto-imagen para producir una nueva imagen. Cualquierobjeto o característica adicional en esta reconstrucción revela directamente las alucinaciones iniciales del modelo. Al comparar la imagen original y la generada, el sistema guía al modelo para que evite repetir esos errores en futuros intentos.

Ilustración de cómo el nuevo método identifica y reduce las alucinaciones en los pies de foto. El modelo regular describe pájaros que no existen en la imagen original, lo que conduce a una imagen reconstruida que los añade. Estos errores están marcados en rojo. En cambio, el método propuesto evita estos detalles inventados manteniendo el pie de foto específico y fluido. Fuente: https://arxiv.org/pdf/2509.21997

Este diagrama muestra cómo la nueva técnica detecta y minimiza las alucinaciones del modelo. Un modelo estándar añade incorrectamente pájaros a su descripción de una imagen, y la versión reconstruida los inserta visualmente (resaltados en rojo). El nuevo método evita estas fabricaciones manteniendo la precisión descriptiva. Fuente: https://arxiv.org/pdf/2509.21997

El método comienza haciendo que el modelo describa imágenes reales, a veces incluyendo objetos o detalles que no están realmente presentes. Estas descripciones inexactas generan imágenes sintéticas que ponen de manifiesto los errores. Al comparar imágenes reales y sintéticas, el sistema identifica patrones internos que conducen a contenidos inventados.

Una vez reconocidos estos patrones de error, se almacenan para utilizarlos en el futuro. Al subtitular una nueva imagen, el sistema ajusta las señales internas del modelo, alejándolo de los desencadenantes de alucinaciones conocidos. Esta corrección se realiza en una sola pasada, sin datos adicionales, reentrenamiento ni generación de imágenes durante las pruebas.

El reto del enredo

En el ejemplo del artículo, el "enredo" explica por qué se añadieron pájaros a una imagen que no contenía ninguno.

El enredo se produce cuando un modelo vincula fuertemente ciertos conceptos porque aparecen juntos con frecuencia en sus datos de entrenamiento. En este caso, el modelo puede haber encontrado con frecuencia aviones con pájaros, creando una asociación que influye erróneamente en el pie de foto.

Aunque terminar antes el entrenamiento puede reducir el enredo (aumentando la flexibilidad del modelo), también disminuye el detalle conceptual y la resolución. Los desarrolladores se enfrentan a una disyuntiva persistente: ¿priorizar un modelo flexible y desenredado o uno más generativo propenso a alucinaciones asociadas?

Lo ideal sería que los pies de foto de las imágenes de origen desglosaran todos los objetos presentes y permitieran al modelo almacenarlos como entradas separadas y disociadas. Sin embargo, las prácticas de subtitulado orientadas al SEO y el raspado de páginas web a gran escala, habituales en el entrenamiento de potentes modelos generativos, no suelen cumplir esta norma.

Una ilustración de cómo la debilidad de los pies de foto limita la utilidad de las imágenes LAION para el entrenamiento de modelos como Stable Diffusion. Muchas de las etiquetas de texto son superficiales, vagas u optimizadas para SEO en lugar de una descripción precisa, lo que dificulta que el modelo aprenda conceptos visuales precisos como los rasgos faciales (la fuente original es https://rom1504.github.io/, ya desaparecida).

Los subtítulos débiles reducen el valor de las imágenes LAION para el entrenamiento de modelos como Stable Diffusion. Las etiquetas suelen ser superficiales, vagas o centradas en el SEO, en lugar de descriptivas, lo que dificulta la capacidad del modelo para aprender conceptos visuales detallados, como los rasgos faciales. (La fuente original era https://rom1504.github.io/, ya desaparecida).

Dado que no es factible una solución básica, las soluciones para reducir las alucinaciones en los LLM y VLM se han convertido en un importante foco de investigación. El nuevo método chino, probado en varias arquitecturas y condiciones, resulta prometedor para frenar la "contaminación por alucinaciones".

Los autores afirman:

Experimentos exhaustivos con múltiples puntos de referencia demuestran que nuestro método reduce significativamente las alucinaciones en los niveles de objeto, atributo y relación, al tiempo que preserva en gran medida el recuerdo y la [riqueza] de los subtítulos".

El artículo, titulado Exposing Hallucinations To Suppress Them: VLMs Representation Editing With Generative Anchors, es obra de investigadores de la Universidad de Ciencia y Tecnología de China y la Universidad de Nanjing.

Cómo funciona el método

Los investigadores desarrollaron un proceso integral para exponer y suprimir las alucinaciones de los subtítulos:

Ilustración del proceso completo. Un modelo de lenguaje visual genera primero un pie de foto a partir de la imagen de entrada, que puede incluir contenido alucinado. A continuación, este pie de foto se utiliza para producir una imagen reconstruida mediante un modelo de texto a imagen, lo que facilita la detección de alucinaciones. Se extraen las imágenes originales y reconstruidas y se utilizan para realizar ajustes en el descodificador, lo que ayuda al modelo a suprimir los detalles alucinados y preservar la calidad del pie de foto.

Ilustración del proceso completo. Un modelo de lenguaje visual genera un pie de foto a partir de una imagen de entrada, que puede incluir alucinaciones. Ese pie de foto se utiliza para crear una imagen reconstruida mediante un modelo de texto a imagen, que hace visibles los errores. Las incrustaciones de ambas imágenes guían los ajustes internos, ayudando al modelo a reducir los detalles inventados sin perder la calidad del pie de foto.

Un modelo de lenguaje visual subtitula primero una imagen real, posiblemente inventando objetos o relaciones. A continuación, ese pie de foto genera una imagen reconstruida que revela las invenciones como discrepancias visuales. La comparación de las dos imágenes convierte los sutiles errores de texto en señales medibles y corregibles.

Para desalentar las invenciones, el sistema compara la imagen original (una referencia fiable) con la reconstruida (resaltando los errores). Cada una se convierte en una incrustación compacta. Al ajustar las representaciones internas para alinearse más con el original y divergir de la reconstrucción, el modelo se autocorrige de forma totalmente autosupervisada.

El artículo explica:

Las alucinaciones en los MLLM son intrínsecamente difíciles de detectar porque están bien formadas lingüísticamente y a menudo no se distinguen de las descripciones fieles a nivel de texto. La discrepancia no radica en la verosimilitud lingüística, sino en la falta de alineación con la evidencia visual, a la que el propio modelo suele ser insensible".

Para solucionar este problema, introducimos un mecanismo de exposición a las alucinaciones que aprovecha la reconstrucción generativa para convertir las incoherencias implícitas en señales explícitas y observables".

Utilizando el modelo texto-imagen FLUX.1-dev, el sistema recrea una imagen a partir del pie de foto, exagerando cualquier detalle falso. Estos errores amplificados ayudan al modelo a reconocer y corregir sus errores.

Para validar el método, los investigadores inyectaron alucinaciones en los pies de foto, generaron imágenes reconstruidas y las volvieron a subtitular con LLaVA. Midieron la similitud semántica entre los pies de foto originales y los alucinados:

Ilustración de cómo el mecanismo de amplificación de las alucinaciones hace visibles los errores más sutiles. Cada punto muestra la similitud entre los subtítulos de las imágenes originales y reconstruidas para un par de imagen-capítulo. La línea naranja representa la similitud medida directamente entre los pies de foto originales y los alucinados, que se mantiene alta y enmascara los pequeños errores; la línea azul representa la similitud tras la reconstrucción, que desciende bruscamente, lo que demuestra que el proceso convierte las alucinaciones ocultas en claros marcadores semánticos que pueden detectarse y corregirse.

El mecanismo de amplificación de alucinaciones visualiza errores sutiles. Cada punto muestra la similitud de los subtítulos de un par imagen-subtítulo. La línea naranja (comparación directa) se mantiene alta, ocultando los errores; la línea azul (post-reconstrucción) cae bruscamente, revelando las alucinaciones ocultas como marcadores semánticos detectables.

La similitud disminuyó significativamente tras la reconstrucción, lo que demuestra la capacidad del método para sacar a la luz errores sutiles.

Datos y pruebas

La eficacia se validó utilizando tres puntos de referencia: Evaluación de alucinaciones con relevancia de imagen (CHAIR); Evaluación MLLM (MME); y Evaluación de sondeo de objetos basada en pooling (POPE).

Del documento de divulgación CHAIR: ejemplos de objetos alucinados generados por dos sistemas de subtitulado punteros, TopDown y NBT, en los que cada modelo inventa elementos visuales que no están realmente presentes en la imagen, como ordenadores portátiles, lavabos o tablas de surf. Fuente: https://arxiv.org/pdf/1809.02156

Del documento de publicación de CHAIR: ejemplos de objetos alucinados generados por los sistemas de subtitulado TopDown y NBT, que inventan elementos como ordenadores portátiles, lavabos o tablas de surf que no están presentes en la imagen. Fuente: https://arxiv.org/pdf/1809.02156

Las métricas estándar, como la tasa de alucinación o el recuerdo, pueden ser engañosas: los modelos pueden evitar errores produciendo subtítulos imprecisos. Para equilibrar la precisión y la exhaustividad, se utilizó la métrica combinada Hallucination and Recall (HAR@β), que puntúa los pies de foto en ambos factores con una ponderación ajustable.

POPE evaluó las alucinaciones de objetos sensibles al contexto, y MME evaluó las alucinaciones a nivel de atributo, ambas como tareas Sí/No.

En las pruebas se utilizó el modelo Flux y LLaVA-v1.5-7B en conjuntos de datos que incluían Microsoft COCO, A-OKVQA y GQA. La edición latente se centró en la segunda capa de los modelos, con hiperparámetros y temperatura coherentes en todas las pruebas.

A continuación se muestran los resultados iniciales de CHAIR*:

Rendimiento en la prueba de referencia CHAIR para la mitigación de alucinaciones, evaluada mediante múltiples métricas.

Rendimiento en el benchmark CHAIR para la mitigación de alucinaciones, evaluado con múltiples métricas.

Los autores señalan:

'[Nuestro método supera sistemáticamente a otras líneas de base tanto en _CHAIRS como en _CHAIRI[*] , lo que demuestra su eficacia superior en la supresión de las alucinaciones. Mientras tanto, aunque casi todos los métodos reducen inevitablemente el recuerdo al suprimir las alucinaciones, lo que refleja un equilibrio entre fidelidad e información, nuestro método consigue la menor reducción.

Esto demuestra que nuestro método capta una amplia gama de objetos de verdad. Con la métrica HAR@β, nuestro método obtiene la puntuación más alta, lo que pone de relieve su capacidad para reducir las alucinaciones manteniendo la cobertura.'

Los buenos resultados se atribuyen a la supervisión dual: refuerza la semántica limpia de la imagen original y suprime las señales engañosas de la reconstrucción. Al centrarse únicamente en las direcciones relacionadas con las alucinaciones, el sistema corrige los errores sin perder detalle.

Comparación del rendimiento en la prueba POPE con distintas configuraciones y conjuntos de datos.

En cuanto a los resultados de POPE, el artículo afirma

Se puede observar que nuestro método consigue sistemáticamente el mejor rendimiento en todas las configuraciones. En concreto, nuestro método puede alcanzar hasta un +5,95% de precisión y un +6,85% de puntuación F1 de media, superando a otros métodos sin entrenamiento por un amplio margen".

Por tanto, estos resultados demuestran que nuestro método ofrece una solución fiable y generalizable en distintos niveles de dificultad".

A partir de la tercera ronda de pruebas, comparaciones de rendimiento sobre MME.

Comparaciones de rendimiento de la tercera ronda de pruebas con MME.

La prueba principal final se realizó con MME, y los resultados se muestran más arriba. Sin embargo, el artículo menciona el método "OPERA" sin definirlo en el texto principal ni en el apéndice. Mientras que los autores afirman un fuerte rendimiento MME, la falta de detalles del método sugiere precaución en la interpretación de estos resultados.