JPEG AI: Размывание гернина между реальными и синтетическими изображениями

В феврале этого года международный стандарт JPEG AI появился на сцене после многолетней разработки. Этот новый стандарт использует машинное обучение для уменьшения размера файлов изображений, сохраняя при этом воспринимаемое качество, что упрощает хранение и передачу изображений. Но вот загвоздка: несмотря на свой потенциал, JPEG AI не вызвал особого ажиотажа в заголовках новостей. Почему? Оказывается, основные документы, объявляющие об этом прорыве, не были свободно доступны — даже на платформах, таких как Arxiv, которые обычно размещают подобные исследования. По иронии судьбы, Arxiv опубликовал несколько исследований о JPEG AI, изучающих его уникальные артефакты сжатия и их значение для криминалистики.

*Из официального потока публикаций по JPEG AI, сравнение между пиковым отношением сигнал/шум (PSNR) и подходом JPEG AI, дополненным машинным обучением.* Источник: https://jpeg.org/jpegai/documentation.html

Например, одно исследование показало, что JPEG AI имеет тенденцию к размытию текста, что является значительной проблемой, если эти изображения используются в юридических контекстах, где важна четкость. Причина этой проблемы? Метод сжатия JPEG AI имитирует визуальные особенности генераторов синтетических изображений, что затрудняет работу существующих криминалистических инструментов в различении реальных и поддельных изображений.

*Одно исследование сравнило артефакты сжатия, включая те, что были в раннем проекте JPEG AI, обнаружив, что новый метод имеет тенденцию к размытию текста — это не мелочь в случаях, когда кодек может быть частью цепочки доказательств.* Источник: https://arxiv.org/pdf/2411.06810

Смущение возникает из-за того, что JPEG AI использует архитектуру модели, схожую с генеративными системами, которые криминалистические инструменты предназначены выявлять. Это сходство означает, что оба метода могут оставлять похожие визуальные следы, усложняя криминалистический анализ.

*После сжатия JPEG AI самые современные алгоритмы больше не могут надежно отделять аутентичный контент от манипулированных областей на картах локализации, согласно недавней статье (март 2025 года). Исходные примеры, показанные слева, являются манипулированными/поддельными изображениями, где измененные области четко обозначены с использованием стандартных криминалистических методов (центральное изображение). Однако сжатие JPEG AI придает поддельным изображениям слой правдоподобия (изображение справа).* Источник: https://arxiv.org/pdf/2412.03261

Обе модели используют технику, называемую квантованием, которая здесь играет ключевую роль. Квантование преобразует непрерывные данные в дискретные точки, процесс, который необходим как для уменьшения размера файла, так и для повышения эффективности моделей машинного обучения. В JPEG AI это помогает сократить объем данных, необходимых для хранения или передачи изображений, упрощая числовое представление внутри изображения. Однако это также вводит шаблоны, которые напоминают те, что создаются генеративными моделями, обманывая криминалистические инструменты.

*Новая статья иллюстрирует сходство между методологиями сжатия изображений, управляемых AI, и настоящими изображениями, сгенерированными AI.* Источник: https://arxiv.org/pdf/2504.03191

Квантование

Квантование в данном контексте заключается в преобразовании непрерывных значений в латентном представлении изображения в фиксированные, дискретные шаги. Это делает кодирование более эффективным, но также вводит структурные закономерности, которые могут напоминать артефакты генеративных моделей, достаточно тонкие, но при этом достаточно разрушительные, чтобы бросить вызов криминалистическим инструментам.

В ответ исследователи в статье под названием **Три криминалистических признака для изображений JPEG AI** предложили ненейронные, интерпретируемые методы для обнаружения сжатия JPEG AI, идентификации повторного сжатия и различения реальных и сгенерированных AI изображений.

Метод

Цветовые корреляции

Статья представляет три криминалистических признака, разработанных для JPEG AI: корреляции цветовых каналов, искажения качества изображения при многократных сжатиях и шаблоны квантования в латентном пространстве. Предобработка JPEG AI вводит статистические зависимости между цветовыми каналами, создавая уникальную сигнатуру. Например, она преобразует изображения RGB в цветовое пространство YUV и использует субдискретизацию хроминанса 4:2:0, которая уменьшает каналы хроминанса перед сжатием. Это приводит к тонким корреляциям между высокочастотными остатками красного, зеленого и синего каналов, отличающимся от тех, что наблюдаются в несжатых изображениях или тех, что созданы традиционным JPEG или генераторами синтетических изображений.

*Сравнение того, как сжатие JPEG AI изменяет цветовые корреляции в изображениях.*

Изображение выше из статьи демонстрирует, как сжатие JPEG AI влияет на цветовые корреляции, особенно с акцентом на красный канал. Оно показывает, что сжатие значительно увеличивает межканальные корреляции, и даже только шаги предобработки сами по себе заметно увеличивают эти корреляции.

Скорость-искажение

Признак скорости-искажения отслеживает, как качество изображения, измеряемое пиковым отношением сигнал/шум (PSNR), предсказуемо снижается при многократных проходах сжатия с JPEG AI. Исследование предполагает, что каждый раунд сжатия вызывает постепенно меньшие, но измеримые потери качества, которые могут служить криминалистическим индикатором повторного сжатия. В отличие от традиционного JPEG, где отслеживались конкретные блоки изображения, нейронная архитектура JPEG AI требует отслеживания изменений в битрейте и PSNR при сжатиях.

*Иллюстрация того, как повторное сжатие влияет на качество изображения в разных кодеках, с результатами от JPEG AI и нейронного кодека, разработанного на https://arxiv.org/pdf/1802.01436; оба демонстрируют устойчивое снижение PSNR с каждым дополнительным сжатием, даже при более низких битрейтах. В отличие от этого, традиционное сжатие JPEG сохраняет относительно стабильное качество при многократных сжатиях, если только битрейт не высок.*

Графики кривых скорости-искажения показывают, что JPEG AI и другой нейронный кодек демонстрируют устойчивое снижение PSNR при всех битрейтах, тогда как традиционный JPEG заметно ухудшается только при более высоких битрейтах. Это поведение предоставляет четкий сигнал для обнаружения повторного сжатия в изображениях JPEG AI.

Квантование

Одной из самых сложных криминалистических задач с JPEG AI является его визуальное сходство с изображениями, созданными диффузионными моделями, обе из которых используют архитектуры кодировщик-декодировщик, обрабатывающие изображения в сжатых латентных пространствах. Однако JPEG AI применяет квантование для округления латентных значений для эффективного сжатия, шаг, который обычно не используется генеративными моделями. Новая статья использует это различие для разработки криминалистического признака, который проверяет наличие квантования, анализируя, как латентное представление соответствует округленным значениям. Эти шаблоны, хотя и невидимы для глаза, помогают различать сжатые реальные изображения от синтетических.

*Пример средних спектров Фурье показывает, что изображения, сжатые JPEG AI, и те, что сгенерированы диффузионными моделями, такими как Midjourney-V5 и Stable Diffusion XL, демонстрируют регулярные сетчатые шаблоны в частотной области — артефакты, обычно связанные с увеличением масштаба. В отличие от этого, реальные изображения не имеют таких шаблонов.*

Этот признак остается эффективным при различных генеративных моделях и сильных сжатиях, предоставляя практичный метод для различения сжатых реальных и синтетических изображений.

Данные и тесты

Сжатие

Для тестирования признака цветовой корреляции для обнаружения сжатия JPEG AI исследователи использовали высококачественные несжатые изображения из набора данных RAISE, сжимая их при различных битрейтах с использованием эталонной реализации JPEG AI. Они обучили простой случайный лес на корреляциях цветовых каналов и сравнили его с ResNet50, обученной на пикселях изображения. Результаты показали, что, хотя ResNet50 хорошо работала при соответствующих тестовых условиях, она с трудом обобщалась на разные уровни сжатия. Подход, основанный на корреляциях, оказался более последовательным, особенно при более низких битрейтах, где влияние предобработки JPEG AI сильнее.

*Точность обнаружения сжатия JPEG AI с использованием признаков цветовой корреляции, сравниваемая при множественных битрейтах. Метод наиболее эффективен при более низких битрейтах, где артефакты сжатия сильнее, и показывает лучшую обобщаемость на невидимых уровнях сжатия, чем базовая модель ResNet50.*

Повторное сжатие

Для обнаружения повторного сжатия JPEG AI исследователи использовали признак скорости-искажения на изображениях, сжатых при разных битрейтах, некоторые один раз, а некоторые дважды. Они извлекли 17-мерный вектор признаков для отслеживания изменений в битрейте и PSNR при сжатиях. Случайный лес, обученный на этих признаках, стабильно превосходил ResNet50, обученную на фрагментах изображений, особенно когда начальное сжатие было сильным. Метод оставался стабильным в различных сценариях и даже обобщался на другой кодек на основе AI.

*Результаты точности классификации случайного леса, обученного на признаках скорости-искажения для определения, было ли изображение JPEG AI повторно сжато. Метод работает лучше всего, когда начальное сжатие сильно (т.е. при более низких битрейтах), и затем стабильно превосходит ResNet50 на основе пикселей — особенно в случаях, когда второе сжатие мягче, чем первое.*

JPEG AI и синтетические изображения

Наконец, чтобы различать изображения, сжатые JPEG AI, и полностью синтетические изображения, исследователи использовали набор данных Synthbuster, смешивая реальные фотографии из базы данных RAISE с сгенерированными изображениями от различных моделей. Они сжимали реальные изображения с помощью JPEG AI при разных битрейтах и использовали классификатор случайного леса на признаках квантования, извлеченных из фиксированной области. Подход, основанный на квантовании, превзошел базовую модель ResNet50, особенно при более низких битрейтах, где артефакты сжатия были более выраженными.

*Примеры синтетических изображений в Synthbuster, сгенерированных с использованием текстовых подсказок, вдохновленных естественными фотографиями из набора данных RAISE-1k. Изображения были созданы с использованием различных диффузионных моделей, с подсказками, разработанными для создания фотореалистичного контента и текстур, а не стилизованных или художественных изображений.* Источник: https://ieeexplore.ieee.org/document/10334046

*Точность классификации случайного леса, использующего признаки квантования для разделения изображений, сжатых JPEG AI, от синтетических изображений.*

Авторы отметили, что признаки квантования хорошо обобщались на разные уровни сжатия и типы генераторов, при этом полный целочисленный вектор обеспечивал более высокую точность в обнаружении изображений, сжатых JPEG AI. Визуализация UMAP показала четкое разделение между JPEG AI и синтетическими изображениями, при этом более низкие битрейты увеличивали расстояние между классами.

*Двумерная визуализация UMAP изображений, сжатых JPEG AI, и синтетических изображений на основе признаков квантования. Левый график показывает, что более низкие битрейты JPEG AI создают большее разделение от синтетических изображений; правый график показывает, как изображения от разных генераторов группируются в пространстве признаков.*

Наконец, исследователи оценили устойчивость этих признаков при типичной постобработке, такой как повторное сжатие JPEG и изменение размера изображения. Хотя производительность снижалась при более интенсивной обработке, падение было постепенным, что указывает на некоторую устойчивость подхода.

Заключение

Неясно, станет ли JPEG AI широко распространенным. Существующая инфраструктура создает проблемы для любого нового кодека, и даже устоявшиеся кодеки, такие как AV1, с трудом заменяют старые методы. Если артефакты квантования JPEG AI продолжат сбивать с толку криминалистические инструменты, его внедрение может быть затруднено. Однако, если будущие генераторы AI оставят другие криминалистические следы, текущие проблемы JPEG AI могут оказаться не столь значительными. Тем не менее, если JPEG AI размывает грань между реальными и сгенерированными изображениями, его широкое использование может быть поставлено под сомнение.

Впервые опубликовано во вторник, 8 апреля 2025 года