JPEG AI: brouillage de la ligne entre les images réelles et synthétiques

En février de cette année, la norme internationale JPEG AI a fait son apparition après des années de développement. Cette nouvelle norme exploite l'apprentissage automatique pour réduire la taille des fichiers image tout en préservant la qualité perceptive, facilitant ainsi le stockage et l'envoi des images. Mais voici le hic : malgré son potentiel, JPEG AI n'a pas fait beaucoup de bruit dans les gros titres. Pourquoi ? Eh bien, il s'avère que les documents principaux annonçant cette avancée n'étaient pas librement accessibles, même sur des plateformes comme Arxiv, qui hébergent généralement ce type de recherches. Ironiquement, Arxiv a publié plusieurs études sur JPEG AI, explorant ses artefacts de compression uniques et leurs implications pour la science forensique.

*Issu du flux de publication officiel pour JPEG AI, une comparaison entre le rapport signal/bruit de crête (PSNR) et l’approche augmentée par ML de JPEG AI.* Source : https://jpeg.org/jpegai/documentation.html

Une étude, par exemple, a souligné que JPEG AI a tendance à flouter le texte, ce qui constitue une préoccupation importante si ces images sont utilisées dans des contextes juridiques où la clarté est essentielle. La raison de ce problème ? La méthode de compression de JPEG AI imite les particularités visuelles des générateurs d'images synthétiques, rendant difficile pour les outils forensiques existants de distinguer le vrai du faux.

*Une étude a comparé les artefacts de compression, y compris ceux d'une version antérieure de JPEG AI, constatant que la nouvelle méthode avait une tendance à flouter le texte – ce n'est pas un détail mineur dans les cas où le codec pourrait contribuer à une chaîne de preuves.* Source : https://arxiv.org/pdf/2411.06810

La confusion provient du fait que JPEG AI utilise une architecture de modèle similaire à celle des systèmes génératifs que les outils forensiques sont conçus pour détecter. Cette similitude signifie que les deux pourraient laisser des indices visuels similaires, compliquant l'analyse forensique.

*Après la compression JPEG AI, les algorithmes de pointe ne peuvent plus séparer de manière fiable le contenu authentique des régions manipulées dans les cartes de localisation, selon un article récent (mars 2025). Les exemples sources vus à gauche sont des images manipulées/fausses, où les régions altérées sont clairement délimitées par les techniques forensiques standard (image centrale). Cependant, la compression JPEG AI confère aux images fausses une couche de crédibilité (image à l'extrême droite).* Source : https://arxiv.org/pdf/2412.03261

Les deux modèles utilisent une technique appelée quantification, qui est cruciale ici. La quantification convertit les données continues en points discrets, un processus essentiel pour réduire la taille des fichiers et rendre les modèles d'apprentissage automatique plus efficaces. Dans JPEG AI, cela aide à réduire les données nécessaires pour stocker ou transmettre des images en simplifiant la représentation numérique de l'image. Cependant, cela introduit également des motifs qui ressemblent à ceux des modèles génératifs, trompant les outils forensiques.

*Le nouvel article illustre la similitude entre les méthodologies de la compression d'image pilotée par l'IA et les images réellement générées par l'IA.* Source : https://arxiv.org/pdf/2504.03191

Quantification

La quantification dans ce contexte consiste à convertir les valeurs continues dans la représentation latente d'une image en étapes fixes et discrètes. Cela rend le codage plus efficace mais introduit également des régularités structurelles qui peuvent imiter les artefacts des modèles génératifs, subtiles mais suffisamment perturbatrices pour défier les outils forensiques.

En réponse, les chercheurs dans un article intitulé **Trois indices forensiques pour les images JPEG AI** ont proposé des méthodes non neuronales et interprétables pour détecter la compression JPEG AI, identifier la recompression et distinguer les images réelles des images générées par l'IA.

Méthode

Corrélations de couleur

L'article introduit trois indices forensiques adaptés à JPEG AI : les corrélations des canaux de couleur, les distorsions de la qualité d'image sur plusieurs compressions, et les motifs de quantification dans l'espace latent. Le prétraitement de JPEG AI introduit des dépendances statistiques entre les canaux de couleur, créant une signature unique. Par exemple, il convertit les images RGB en espace colorimétrique YUV et utilise un sous-échantillonnage de chrominance 4:2:0, qui réduit les canaux de chrominance avant la compression. Cela conduit à des corrélations subtiles entre les résidus haute fréquence des canaux rouge, vert et bleu, différentes de celles des images non compressées ou de celles produites par le JPEG traditionnel ou les générateurs d'images synthétiques.

*Une comparaison de la manière dont la compression JPEG AI altère les corrélations de couleur dans les images.*

L'image ci-dessus de l'article montre comment la compression JPEG AI affecte les corrélations de couleur, en se concentrant particulièrement sur le canal rouge. Elle montre que la compression augmente significativement les corrélations inter-canaux, et même les étapes de prétraitement seules augmentent notablement ces corrélations.

Taux-Distorsion

L'indice de taux-distorsion suit la manière dont la qualité de l'image, mesurée par le rapport signal/bruit de crête (PSNR), diminue de manière prévisible sur plusieurs passes de compression avec JPEG AI. La recherche suggère que chaque cycle de compression provoque des pertes de qualité progressivement plus faibles mais mesurables, qui peuvent servir d'indicateur forensique de recompression. Contrairement au JPEG traditionnel, où des blocs d'image spécifiques étaient surveillés, l'architecture neurale de JPEG AI nécessite de suivre les changements de débit binaire et de PSNR à travers les compressions.

*Une illustration de la manière dont la compression répétée affecte la qualité de l'image à travers différents codecs, présentant les résultats de JPEG AI et d’un codec neuronal développé à https://arxiv.org/pdf/1802.01436 ; les deux affichent une diminution constante du PSNR à chaque compression supplémentaire, même à des débits binaires plus faibles. En revanche, la compression JPEG traditionnelle maintient une qualité relativement stable à travers plusieurs compressions, sauf si le débit binaire est élevé.*

Les courbes de taux-distorsion tracées montrent que JPEG AI et un autre codec neuronal affichent une diminution constante du PSNR à tous les débits binaires, tandis que le JPEG traditionnel ne se dégrade notablement qu'à des débits binaires plus élevés. Ce comportement fournit un signal clair pour détecter la recompression dans les images JPEG AI.

Quantification

L'un des défis forensiques les plus difficiles avec JPEG AI est sa similitude visuelle avec les images créées par des modèles de diffusion, tous deux utilisant des architectures encodeur-décodeur qui traitent les images dans des espaces latents compressés. Cependant, JPEG AI applique la quantification pour arrondir les valeurs latentes pour une compression efficace, une étape généralement non utilisée par les modèles génératifs. Le nouvel article exploite cette différence pour concevoir un indice forensique qui teste la présence de la quantification en analysant comment la représentation latente s'aligne avec des valeurs arrondies. Ces motifs, bien qu'invisibles à l'œil, aident à différencier les images réelles compressées des images synthétiques.

*Un exemple de spectres de Fourier moyens révèle que les images compressées par JPEG AI et celles générées par des modèles de diffusion comme Midjourney-V5 et Stable Diffusion XL présentent des motifs en grille réguliers dans le domaine fréquentiel – artefacts communément liés à la suréchantillonnage. En revanche, les images réelles manquent de ces motifs. Cette superposition dans la structure spectrale aide à expliquer pourquoi les outils forensiques confondent souvent les images réelles compressées avec les images synthétiques.*

Cet indice reste efficace à travers divers modèles génératifs et compressions fortes, offrant une méthode pratique pour distinguer les images réelles compressées des images synthétiques.

Données et Tests

Compression

Pour tester l'indice de corrélation de couleur pour détecter la compression JPEG AI, les chercheurs ont utilisé des images non compressées de haute qualité de l'ensemble de données RAISE, en les compressant à divers débits binaires en utilisant l'implémentation de référence JPEG AI. Ils ont entraîné une forêt aléatoire simple sur les corrélations des canaux de couleur et l'ont comparée à un ResNet50 entraîné sur les pixels d'image. Les résultats ont montré que, bien que ResNet50 ait bien performé dans des conditions de test correspondantes, il a eu du mal à généraliser à travers différents niveaux de compression. L'approche basée sur les corrélations, cependant, s'est révélée plus cohérente, en particulier à des débits binaires plus faibles où l'impact du prétraitement de JPEG AI est plus fort.

*Précision de détection de la compression JPEG AI à l'aide de caractéristiques de corrélation de couleur, comparée à travers plusieurs débits binaires. La méthode est plus efficace à des débits binaires plus faibles, où les artefacts de compression sont plus forts, et montre une meilleure généralisation aux niveaux de compression non vus que le modèle de base ResNet50.*

Recompression

Pour détecter la recompression JPEG AI, les chercheurs ont utilisé l'indice de taux-distorsion sur des images compressées à différents débits binaires, certaines une fois et d'autres deux fois. Ils ont extrait un vecteur de caractéristiques à 17 dimensions pour suivre les changements de débit binaire et de PSNR à travers les compressions. Une forêt aléatoire entraînée sur ces caractéristiques a constamment surpassé un ResNet50 entraîné sur des patches d'image, en particulier lorsque la compression initiale était forte. La méthode est restée stable à travers divers scénarios et a même généralisé à un autre codec basé sur l'IA.

*Résultats pour la précision de classification d'une forêt aléatoire entraînée sur des caractéristiques de taux-distorsion pour détecter si une image JPEG AI a été recompressée. La méthode performe mieux lorsque la compression initiale est forte (c'est-à-dire à des débits binaires plus faibles), et surpasse constamment un ResNet50 basé sur les pixels – en particulier dans les cas où la seconde compression est plus douce que la première.*

JPEG AI et Images Synthétiques

Enfin, pour distinguer entre les images compressées par JPEG AI et les images entièrement synthétiques, les chercheurs ont utilisé l'ensemble de données Synthbuster, mélangeant des photos réelles de la base de données RAISE avec des images générées par divers modèles. Ils ont compressé les images réelles en utilisant JPEG AI à différents débits binaires et ont utilisé un classificateur de forêt aléatoire sur des caractéristiques de quantification extraites d'une région fixe. L'approche basée sur la quantification a surpassé le modèle de base ResNet50, en particulier à des débits binaires plus faibles où les artefacts de compression étaient plus prononcés.

*Exemples d'images synthétiques dans Synthbuster, générées à l'aide de prompts textuels inspirés par des photographies naturelles de l'ensemble de données RAISE-1k. Les images ont été créées avec divers modèles de diffusion, avec des prompts conçus pour produire un contenu et des textures photoréalistes plutôt que des rendus stylisés ou artistiques.* Source : https://ieeexplore.ieee.org/document/10334046

*Précision de classification d'une forêt aléatoire utilisant des caractéristiques de quantification pour séparer les images compressées par JPEG AI des images synthétiques.*

Les auteurs ont noté que les caractéristiques de quantification se généralisaient bien à travers les forces de compression et les types de générateurs, avec le vecteur entier complet offrant une précision plus élevée dans la détection des images compressées par JPEG AI. Une visualisation UMAP a montré une séparation claire entre les images JPEG AI et synthétiques, avec des débits binaires plus faibles augmentant la distance entre les classes.

*Visualisation UMAP bidimensionnelle des images compressées par JPEG AI et synthétiques, basée sur des caractéristiques de quantification. Le graphique de gauche montre que les débits binaires JPEG AI plus faibles créent une plus grande séparation des images synthétiques ; le graphique de droite, comment les images de différents générateurs se regroupent distinctement dans l'espace des caractéristiques.*

Enfin, les chercheurs ont évalué la robustesse de ces caractéristiques sous un post-traitement typique comme la recompression JPEG et le redimensionnement d'image. Bien que les performances aient diminué avec un traitement plus lourd, la baisse était graduelle, indiquant une certaine résilience dans l'approche.

Conclusion

Il est incertain si JPEG AI sera largement adopté. L'infrastructure existante pose des défis à tout nouveau codec, et même les codecs établis comme AV1 luttent pour remplacer les méthodes plus anciennes. Si les artefacts de quantification de JPEG AI continuent de confondre les outils forensiques, son adoption pourrait être entravée. Cependant, si les futurs générateurs d'IA laissent des traces forensiques différentes, les problèmes actuels de JPEG AI pourraient ne pas être aussi significatifs. Néanmoins, si JPEG AI brouille la frontière entre les images réelles et générées, son utilisation généralisée pourrait être remise en question.

Première publication mardi 8 avril 2025