JPEG AI：模糊真实图像和合成图像之间的界线

今年二月，JPEG AI国际标准在经过多年开发后问世。这一新标准利用机器学习技术压缩图像文件大小，同时保持感知质量不变，使图像存储和传输更加便捷。但令人意外的是，尽管具有潜力，JPEG AI并未在头条新闻中引起太多关注。为什么？原来，宣布这一突破的核心文件并非免费提供——即使在通常托管此类研究的Arxiv平台上也是如此。具有讽刺意味的是，Arxiv确实发表了多篇关于JPEG AI的研究，探讨了其独特的压缩伪影以及对取证科学的意义。

*来自JPEG AI官方出版物的图像，展示了峰值信噪比（PSNR）与JPEG AI的机器学习增强方法的比较。* 来源：https://jpeg.org/jpegai/documentation.html

例如，一项研究指出，JPEG AI倾向于模糊文本，这在需要清晰度的法律场景中是一个重大问题。原因何在？JPEG AI的压缩方法模仿了合成图像生成器的视觉特性，使得现有取证工具难以区分真假图像。

*一项研究比较了压缩伪影，包括JPEG AI早期草案的伪影，发现新方法有模糊文本的倾向——在编解码器可能影响证据链的情况下，这不是小问题。* 来源：https://arxiv.org/pdf/2411.06810

这种混淆源于JPEG AI使用了与取证工具设计用来识别的生成系统相似的模型架构。这种相似性意味着两者可能留下相似的视觉线索，复杂化了取证分析。

*根据2025年3月的一篇最新论文，经过JPEG AI压缩后，最先进的算法无法在定位图中可靠地区分真实内容与被篡改区域。左侧的源示例是被篡改/伪造的图像，在标准取证技术下，篡改区域清晰可见（中间图像）。然而，JPEG AI压缩为伪造图像增添了一层可信度（最右侧图像）。* 来源：https://arxiv.org/pdf/2412.03261

两种模型都使用了量化技术，这在此处至关重要。量化将连续数据转换为离散点，这一过程对于减小文件大小和提高机器学习模型效率至关重要。在JPEG AI中，量化通过简化图像内的数值表示来减少存储或传输图像所需的数据。然而，这也引入了与生成模型相似的模式，欺骗了取证工具。

*新论文展示了AI驱动的图像压缩方法与实际AI生成图像之间的方法相似性。* 来源：https://arxiv.org/pdf/2504.03191

量化

在此背景下，量化是将图像潜在表示中的连续值转换为固定的离散步骤。这使得编码更高效，但也引入了结构规律，可能模仿生成模型的伪影，微妙但足以干扰取证工具。

为此，一篇题为**JPEG AI图像的三种取证线索**的论文提出了非神经、可解释的方法，用于检测JPEG AI压缩、识别重压缩以及区分真实图像与AI生成图像。

方法

颜色相关性

该论文介绍了为JPEG AI量身定制的三种取证线索：颜色通道相关性、多次压缩中的图像质量失真以及潜在空间中的量化模式。JPEG AI的预处理在颜色通道之间引入了统计依赖，形成了独特的签名。例如，它将RGB图像转换为YUV颜色空间，并使用4:2:0色度子采样，在压缩前降低色度通道的分辨率。这导致红、绿、蓝通道高频残差之间的微妙相关性，不同于未压缩图像、传统JPEG或合成图像生成器产生的图像。

*比较JPEG AI压缩如何改变图像中的颜色相关性。*

论文中的上述图像展示了JPEG AI压缩如何影响颜色相关性，特别聚焦于红色通道。结果显示，压缩显著提高了通道间相关性，即使仅预处理步骤也明显增加了这些相关性。

率失真

率失真线索跟踪图像质量（以峰值信噪比（PSNR）衡量）在JPEG AI多次压缩中的可预测下降。研究表明，每次压缩都会导致逐渐减小但可测量的质量损失，这可作为重压缩的取证指标。与传统JPEG监控特定图像块不同，JPEG AI的神经架构需要在压缩过程中跟踪比特率和PSNR的变化。

*展示多次压缩如何影响不同编解码器的图像质量，包含JPEG AI和https://arxiv.org/pdf/1802.01436开发的神经编解码器的结果；两者在每次额外压缩中均显示PSNR稳步下降，即使在较低比特率下也是如此。相比之下，传统JPEG压缩在多次压缩中保持相对稳定的质量，除非比特率较高。* 来源：https://arxiv.org/pdf/1802.01436

绘制的率失真曲线显示，JPEG AI和另一神经编解码器在所有比特率下均显示出一致的PSNR下降，而传统JPEG仅在较高比特率下明显下降。这种行为为检测JPEG AI图像重压缩提供了清晰信号。

量化

JPEG AI与扩散模型创建的图像在视觉上的相似性是取证中的一大挑战，两者都使用编码器-解码器架构，在压缩潜在空间中处理图像。然而，JPEG AI通过量化将潜在值四舍五入以实现高效压缩，这一步骤通常不被生成模型使用。新论文利用这一差异设计了取证线索，通过分析潜在表示如何与四舍五入值对齐来测试量化的存在。这些模式虽然肉眼不可见，但有助于区分压缩的真实图像与合成图像。

*平均傅里叶光谱示例显示，JPEG AI压缩图像以及Midjourney-V5和Stable Diffusion XL等扩散模型生成的图像在频域中呈现出规则的网格状模式——通常与上采样相关的伪影。相比之下，真实图像缺乏这些模式。*

这一线索在各种生成模型和强压缩下仍然有效，提供了区分压缩真实图像与合成图像的实用方法。

数据与测试

压缩

为测试检测JPEG AI压缩的颜色相关性线索，研究人员使用RAISE数据集中的高质量未压缩图像，使用JPEG AI参考实现以不同比特率进行压缩。他们在颜色通道相关性上训练了一个简单的随机森林，并将其与在图像像素上训练的ResNet50进行比较。结果显示，虽然ResNet50在匹配测试条件下表现良好，但难以泛化到不同压缩级别。而基于相关性的方法在较低比特率下表现更一致，此时JPEG AI的预处理影响更强。

*使用颜色相关性特征检测JPEG AI压缩的准确性，跨多个比特率进行比较。该方法在较低比特率下最有效，此时压缩伪影更强，并且比基线ResNet50模型显示出更好的泛化能力，特别是在未见过的压缩级别上。*

重压缩

为检测JPEG AI重压缩，研究人员在不同比特率下压缩的图像上使用率失真线索，部分图像压缩一次，部分压缩两次。他们提取了一个17维特征向量来跟踪压缩过程中的比特率和PSNR变化。在这些特征上训练的随机森林始终优于在图像块上训练的ResNet50，特别是在初始压缩较强时。该方法在多种场景下保持稳定，甚至泛化到其他AI基编解码器。

*使用率失真特征训练的随机森林在检测JPEG AI图像是否被重压缩时的分类准确性结果。该方法在初始压缩较强（即较低比特率）时表现最佳，并且始终优于基于像素的ResNet50——尤其是在第二次压缩比第一次温和的情况下。*

JPEG AI与合成图像

最后，为区分JPEG AI压缩图像与完全合成图像，研究人员使用了Synthbuster数据集，混合了RAISE数据库的真实照片与来自不同 Hawkins模型生成的图像。他们以不同比特率使用JPEG AI压缩真实图像，并在固定区域提取量化特征，使用随机森林分类器。基于量化的方法在较低比特率下优于ResNet50基线，此时压缩伪影更明显。

*Synthbuster中合成图像示例，使用受RAISE-1k数据集中的自然照片启发的文本提示生成。图像使用多种扩散模型创建，提示设计为生成逼真的内容和纹理，而非风格化或艺术化的渲染。* 来源：https://ieeexplore.ieee.org/document/10334046

*使用量化特征的随机森林分类器在区分JPEG AI压缩图像与合成图像时的分类准确性。*

作者指出，量化特征在不同压缩强度和生成器类型下泛化良好，完整的整数向量在检测JPEG AI压缩图像时提供了更高的准确性。UMAP可视化显示JPEG AI与合成图像之间有清晰的分离，较低比特率增加了类别之间的距离。

*基于量化特征的JPEG AI压缩图像与合成图像的二维UMAP可视化。左侧图显示较低的JPEG AI比特率与合成图像有更大的分离；右侧图显示不同生成器的图像在特征空间中如何明显聚类。*

最后，研究人员评估了这些特征在典型后处理（如JPEG重压缩和图像大小调整）下的鲁棒性。虽然在较重的处理下性能下降，但下降是渐进的，表明该方法具有一定的鲁棒性。

*评估量化特征在后处理（如JPEG重压缩（JPG）和图像大小调整（RS））下的鲁棒性。*

结论

JPEG AI是否会被广泛采用尚不确定。现有的基础设施对任何新编解码器都构成挑战，即使是像AV1这样已建立的编解码器也难以取代旧方法。如果JPEG AI的量化伪影继续干扰取证工具，其采用可能受阻。然而，如果未来的AI生成器留下不同的取证痕迹，JPEG AI当前的缺陷可能不那么重要。尽管如此，如果JPEG AI模糊了真实图像与生成图像的界限，其广泛使用可能会受到质疑。

首次发布于2025年4月8日，星期二