Борьба с галлюцинациями изображений ИИ путем усиления их недостатков

Дом

Новости

22 декабря 2025 г.

RalphRoberts

Модели зрения, такие как ChatGPT, часто придумывают элементы, отсутствующие на изображении. Новый подход уменьшает эти ошибки, генерируя преувеличенные версии собственных галлюцинаций модели из ее подписей, а затем побуждая ее к пересмотру. Этот метод не требует переобучения или дополнительных данных, что делает его широко применимым к различным моделям и архитектурам.

В новом исследовании, проведенном в Китае, решается сложная проблема галлюцинаций в созданных ИИ изображениях и видео - деталей, которые явно противоречат подсказке пользователя.

Процесс начинается стандартно: модель описывает изображение. Затем это описание передается в модель преобразования текста в изображение для создания нового изображения - любыедополнительные объекты или особенности в этой реконструкции напрямую свидетельствуют о первоначальных галлюцинациях модели. Сравнивая исходное и созданное изображения, система направляет модель, чтобы она не повторяла эти ошибки в будущих попытках.

Иллюстрация того, как новый метод выявляет и уменьшает галлюцинации в подписях к изображениям. Регулярная модель описывает птиц, которых нет на исходном изображении, что приводит к тому, что реконструированное изображение добавляет их. Эти ошибки отмечены красным цветом. В отличие от этого, предлагаемый метод позволяет избежать этих выдуманных деталей, сохраняя при этом конкретность и беглость подписи. Источник: https://arxiv.org/pdf/2509.21997

На этой схеме показано, как новая техника обнаруживает и сводит к минимуму галлюцинации. Стандартная модель неверно добавляет птиц в описание изображения, а реконструированная версия вставляет их визуально (выделено красным). Новый метод позволяет избежать этих выдумок, сохраняя точность описания. Источник: https://arxiv.org/pdf/2509.21997

Метод начинается с того, что модель описывает реальные изображения, иногда включая в них объекты или детали, которых на самом деле нет. Эти неточные подписи генерируют синтетические изображения, которые подчеркивают ошибки. Сравнивая реальные и синтетические изображения, система выявляет внутренние закономерности, которые приводят к вымышленному содержанию.

Как только эти ошибки распознаны, они сохраняются для дальнейшего использования. При создании титров к новому изображению система корректирует внутренние сигналы модели, направляя их в сторону от известных триггеров галлюцинаций. Эта коррекция происходит за один проход без дополнительных данных, переобучения или генерации изображений во время тестирования.

Проблема запутанности

В приведенном в статье примере "запутанность", вероятно, объясняет, почему птицы были добавлены к изображению, на котором их не было.

Запутанность возникает, когда модель прочно связывает определенные понятия, потому что они часто встречаются вместе в ее обучающих данных. В данном случае модель, возможно, часто встречала самолеты с птицами, создавая ассоциацию, которая ошибочно повлияла на надпись.

Хотя более раннее завершение обучения может уменьшить запутанность (повышая гибкость модели), оно также снижает концептуальную детализацию и разрешение. Разработчики сталкиваются с постоянным компромиссом: отдать предпочтение гибкой, распутанной модели или более генеративной, склонной к ассоциативным галлюцинациям?

В идеале подписи к исходным изображениям должны содержать описание каждого присутствующего объекта, позволяя модели хранить их в виде отдельных, расчлененных записей. Однако SEO-практика создания подписей и крупномасштабный веб-скрепинг, часто используемые для обучения мощных генеративных моделей, часто не соответствуют этому стандарту.

Иллюстрация того, как слабые подписи ограничивают полезность изображений LAION для обучения моделей типа Stable Diffusion. Многие текстовые метки неглубоки, расплывчаты или оптимизированы для SEO, а не для точного описания, что затрудняет обучение модели таким тонким визуальным понятиям, как черты лица (первоисточник - https://rom1504.github.io/, ныне не существует).

Слабые подписи снижают ценность изображений LAION для обучения моделей типа Stable Diffusion. Надписи часто бывают неглубокими, расплывчатыми или SEO-ориентированными, а не описательными, что препятствует способности модели изучать детальные визуальные концепции, такие как черты лица. (Первоисточником был сайт https://rom1504.github.io/, ныне не существующий).

Поскольку фундаментальное исправление нецелесообразно, обходные пути для уменьшения галлюцинаций в LLM и VLM стали важным направлением исследований. Новый китайский метод, протестированный в различных архитектурах и условиях, показывает перспективность в сдерживании "загрязнения галлюцинациями".

Авторы заявляют:

"Обширные эксперименты на различных бенчмарках показывают, что наш метод значительно уменьшает количество галлюцинаций на уровне объектов, атрибутов и отношений, сохраняя при этом запоминание и богатство подписей".

Работа под названием Exposing Hallucinations To Suppress Them: VLMs Representation Editing With Generative Anchors написана исследователями из Университета науки и технологий Китая и Нанкинского университета.

Принцип работы метода

Исследователи разработали сквозной конвейер для выявления и подавления галлюцинаций в титрах:

Иллюстрация полного цикла. Модель языка зрения сначала генерирует надпись на входном изображении, которое может содержать галлюцинации. Затем эта надпись используется для создания реконструированного изображения с помощью модели преобразования текста в изображение, что облегчает выявление галлюцинаций. Из исходного и реконструированного изображений извлекаются вкрапления, которые используются для настройки декодера, помогая модели подавлять галлюцинации и сохранять качество надписей.

Полная иллюстрация конвейера. Модель языка зрения генерирует подпись к входному изображению, потенциально включающую галлюцинации. Эта надпись используется для создания реконструированного изображения с помощью модели преобразования текста в изображение, что делает ошибки видимыми. Вкрапления из обоих изображений направляют внутренние корректировки, помогая модели уменьшить количество придуманных деталей без потери качества подписи.

Модель на языке зрения сначала создает подпись к реальному изображению, возможно, придумывая объекты или отношения. Затем подпись генерирует реконструированное изображение, выявляя любые выдумки в виде визуальных расхождений. Сравнение двух изображений превращает тонкие текстовые ошибки в измеримые и корректируемые сигналы.

Чтобы предотвратить выдумки, система сравнивает оригинальное изображение (надежный эталон) с реконструированным (выделяя ошибки). Каждое из них преобразуется в компактное вложение. Корректируя внутренние представления таким образом, чтобы они более точно соответствовали оригиналу и расходились с реконструкцией, модель самокорректируется полностью самоконтролируемым образом.

В статье поясняется:

"Галлюцинации в МЛМ по своей сути трудно обнаружить, поскольку они хорошо сформированы с лингвистической точки зрения и часто неотличимы от достоверных описаний на уровне текста. Расхождение заключается не в языковом правдоподобии, а в несоответствии с визуальными свидетельствами, к которым сама модель обычно нечувствительна".

Чтобы решить эту проблему, мы вводим механизм воздействия на галлюцинации, который использует генеративную реконструкцию для преобразования неявных несоответствий в явные и наблюдаемые сигналы".

Используя модель преобразования текста в изображение FLUX.1-dev, система воссоздает изображение по надписи, преувеличивая все ложные детали. Эти усиленные ошибки помогают модели распознать и исправить свои ошибки.

Для проверки подхода исследователи вводили галлюцинации в подписи, генерировали реконструированные изображения, а затем переснимали их с помощью LLaVA. Они измерили семантическое сходство между оригинальными и галлюцинаторными подписями:

Иллюстрация того, как механизм усиления галлюцинаций делает заметными тонкие ошибки. Каждая точка показывает сходство между подписями оригинального и реконструированного изображений для одной пары

Механизм усиления галлюцинаций визуализирует тонкие ошибки. Каждая точка показывает сходство подписей для пары "изображение - подпись". Оранжевая линия (прямое сравнение) остается высокой, маскируя ошибки; синяя линия (после реконструкции) резко падает, выявляя скрытые галлюцинации как различимые семантические маркеры.

Сходство значительно уменьшилось после реконструкции, демонстрируя способность метода выявлять тонкие ошибки.

Данные и тестирование

Эффективность метода была подтверждена с помощью трех эталонов: Оценка галлюцинаций с помощью релевантности изображения (CHAIR); Оценка MLLM (MME); и Оценка зондирования объектов на основе пулинга (POPE).

Из доклада CHAIR: примеры галлюцинаций, созданных двумя ведущими системами субтитров, TopDown и NBT, в которых каждая модель придумывает визуальные элементы, не присутствующие в действительности на изображении, такие как ноутбуки, раковины или доски для серфинга. Источник: https://arxiv.org/pdf/1809.02156

Из доклада CHAIR: примеры галлюцинаций, созданных системами субтитров TopDown и NBT, которые придумывают такие элементы, как ноутбуки, раковины или доски для серфинга, не присутствующие на изображении. Источник: https://arxiv.org/pdf/1809.02156

Стандартные показатели, такие как количество галлюцинаций или запоминание, могут вводить в заблуждение - модели могут избегать ошибок, создавая нечеткие подписи. Чтобы сбалансировать точность и полноту, была использована комбинированная метрика Hallucination and Recall (HAR@β), оценивающая подписи по обоим факторам с регулируемым весом.

В POPE оценивались контекстно-чувствительные объектные галлюцинации, а в MME - галлюцинации на уровне атрибутов, причем оба задания были типа "да/нет".

В тестах использовались модель Flux и LLaVA-v1.5-7B на наборах данных, включающих Microsoft COCO, A-OKVQA и GQA. Латентное редактирование было нацелено на второй слой моделей, с одинаковыми гиперпараметрами и температурой во всех тестах.

Первые результаты CHAIR приведены ниже*:

Производительность в бенчмарке CHAIR для смягчения галлюцинаций, оцененная по нескольким метрикам.

Результаты теста CHAIR на смягчение галлюцинаций, оцененные с помощью нескольких метрик.

Авторы отмечают:

'[Наш метод стабильно превосходит другие базовые методы как в _CHAIRS, так и в _CHAIRI, демонстрируя свою превосходную эффективность в подавлении галлюцинаций. При этом, хотя почти все методы неизбежно снижают запоминание при подавлении галлюцинаций, что отражает компромисс между верностью и информативностью, наш подход достигает наименьшего снижения.

Это свидетельствует о том, что наш метод охватывает широкий спектр истинных объектов. В метрике HAR@β наш метод получил наивысший балл, что подчеркивает его способность уменьшать количество галлюцинаций при сохранении охвата".

Высокие результаты объясняются двойным супервизором: усилением чистой семантики исходного изображения и подавлением вводящих в заблуждение сигналов реконструкции. Нацеливаясь только на направления, связанные с галлюцинациями, система исправляет ошибки без потери детализации.

Сравнение производительности в бенчмарке POPE при различных конфигурациях и наборах данных.

Сравнение производительности в бенчмарке POPE на различных конфигурациях и наборах данных.

Что касается результатов POPE, то в статье говорится следующее:

"Можно заметить, что наш метод стабильно достигает наилучшей производительности при любых настройках. В частности, наш метод может достичь в среднем +5,95% точности и +6,85% F1, значительно превосходя другие необучаемые подходы".

Таким образом, эти результаты показывают, что наш метод обеспечивает надежное и обобщенное решение на разных уровнях сложности".

Начиная с третьего раунда тестирования, сравнение производительности по сравнению с MME.

Сравнение результатов третьего раунда тестирования на MME.

Заключительный основной тест проводился на MME, результаты которого приведены выше. Однако в статье упоминается метод "OPERA" без определения в основном тексте и в приложении. Хотя авторы заявляют о высокой производительности MME, отсутствие подробностей о методе заставляет с осторожностью отнестись к интерпретации этих результатов.