JPEG AI : 실제 이미지와 합성 이미지 사이의 선을 흐리게

올해 2월, JPEG AI 국제 표준이 수년간의 개발 끝에 등장했습니다. 이 새로운 표준은 머신 러닝을 활용하여 이미지 파일 크기를 줄이면서 지각적 품질을 유지하여 이미지를 더 쉽게 저장하고 전송할 수 있게 합니다. 하지만 여기서 주목할 점은, 그 잠재력에도 불구하고 JPEG AI는 헤드라인에서 큰 주목을 받지 못했다는 것입니다. 왜일까요? 핵심 문서들이 이 돌파구를 발표했음에도 불구하고, Arxiv와 같은 플랫폼에서도 무료로 제공되지 않았기 때문입니다. 아이러니하게도 Arxiv는 JPEG AI에 대한 여러 연구를 발표했으며, 그 독특한 압축 아티팩트와 법의학에 대한 영향을 탐구했습니다.

*JPEG AI 공식 출판물 스트림에서 Peak Signal-to-Noise Ratio (PSNR)와 JPEG AI의 ML-강화 접근 방식 간의 비교.* 출처: https://jpeg.org/jpegai/documentation.html

예를 들어, 한 연구는 JPEG AI가 텍스트를 흐리게 만드는 경향이 있다는 점을 강조했으며, 이는 명확성이 중요한 법적 맥락에서 이미지가 사용될 경우 큰 우려 사항입니다. 이 문제의 원인은 무엇일까요? JPEG AI의 압축 방식은 합성 이미지 생성기의 시각적 특성을 모방하여 기존의 법의학 도구가 진짜와 가짜를 구분하기 어렵게 만듭니다.

*한 연구는 JPEG AI의 초기 초안을 포함한 압축 아티팩트를 비교했으며, 새 방식이 텍스트를 흐리게 만드는 경향이 있다는 것을 발견했습니다. 이는 코덱이 증거 사슬에 기여할 수 있는 경우에 사소한 문제가 아닙니다.* 출처: https://arxiv.org/pdf/2411.06810

혼란은 JPEG AI가 법의학 도구가 잡아내도록 설계된 생성 시스템과 유사한 모델 아키텍처를 사용하기 때문에 발생합니다. 이 유사성은 둘 다 비슷한 시각적 단서를 남길 수 있어 법의학 분석을 복잡하게 만듭니다.

*JPEG AI 압축 후, 최신 알고리즘은 지역화 맵에서 진짜 콘텐츠와 조작된 영역을 더 이상 안정적으로 분리할 수 없다고 최근 논문(2025년 3월)에 나와 있습니다. 왼쪽에 보이는 소스 예시는 조작된/가짜 이미지로, 표준 법의학 기술(중앙 이미지)에서는 조작된 영역이 명확히 구분됩니다. 그러나 JPEG AI 압축은 가짜 이미지에 신뢰성을 부여합니다(가장 오른쪽 이미지).* 출처: https://arxiv.org/pdf/2412.03261

두 모델 모두 양자화라는 기술을 사용하며, 이는 여기서 중요합니다. 양자화는 연속 데이터를 이산적인 점으로 변환하는 과정으로, 파일 크기를 줄이고 머신 러닝 모델을 더 효율적으로 만드는 데 필수적입니다. JPEG AI에서는 이미지 내의 숫자 표현을 단순화하여 저장하거나 전송하는 데 필요한 데이터를 줄이는 데 도움이 됩니다. 그러나 이는 또한 생성 모델과 유사한 패턴을 도입하여 법의학 도구를 속입니다.

*새 논문은 AI 기반 이미지 압축과 실제 AI 생성 이미지의 방법론 간의 유사성을 보여줍니다.* 출처: https://arxiv.org/pdf/2504.03191

양자화

이 맥락에서의 양자화는 이미지의 잠재 표현에서 연속 값을 고정된 이산 단계로 변환하는 것입니다. 이는 인코딩을 더 효율적으로 만들지만, 생성 모델의 아티팩트와 유사한 구조적 규칙성을 도입하여 법의학 도구에 도전이 될 만큼 미묘하지만 방해가 되는 패턴을 만듭니다.

이에 대응하여, **JPEG AI 이미지에 대한 세 가지 법의학 단서**라는 제목의 논문에서 연구자들은 JPEG AI 압축을 탐지하고, 재압축을 식별하며, 진짜와 AI 생성 이미지를 구분하기 위한 비신경망, 해석 가능한 방법을 제안했습니다.

방법

색상 상관관계

논문은 JPEG AI에 맞춘 세 가지 법의학 단서를 소개합니다: 색상 채널 상관관계, 여러 압축에 걸친 이미지 품질 왜곡, 그리고 잠재 공간에서의 양자화 패턴입니다. JPEG AI의 전처리는 색상 채널 간의 통계적 의존성을 도입하여 독특한 서명을 만듭니다. 예를 들어, RGB 이미지를 YUV 색상 공간으로 변환하고 4:2:0 크로마 서브샘플링을 사용하여 압축 전에 크로미넌스 채널을 축소합니다. 이는 빨강, 초록, 파랑 채널의 고주파 잔차 간의 미묘한 상관관계를 초래하며, 이는 비압축 이미지나 전통적인 JPEG 또는 합성 이미지 생성기에서 생성된 이미지와 다릅니다.

*JPEG AI 압축이 이미지의 색상 상관관계에 어떤 영향을 미치는지 비교.*

위의 논문 이미지는 JPEG AI 압축이 색상 상관관계, 특히 빨강 채널에 초점을 맞춰 어떻게 영향을 미치는지 보여줍니다. 압축은 채널 간 상관관계를 크게 증가시키며, 전처리 단계만으로도 이러한 상관관계가 눈에 띄게 증가합니다.

비율-왜곡

비율-왜곡 단서는 JPEG AI로 여러 번 압축할 때 Peak Signal-to-Noise Ratio (PSNR)로 측정된 이미지 품질이 예측 가능하게 감소하는 방식을 추적합니다. 연구는 각 압축 라운드가 점진적으로 작지만 측정 가능한 품질 손실을 초래하며, 이는 재압축의 법의학 지표로 사용될 수 있다고 제안합니다. 특정 이미지 블록을 모니터링했던 전통적인 JPEG과 달리, JPEG AI의 신경 아키텍처는 압축 전반에 걸쳐 비트레이트와 PSNR의 변화를 추적해야 합니다.

*다양한 코덱에서 반복 압축이 이미지 품질에 미치는 영향을 보여주는 그림, JPEG AI와 https://arxiv.org/pdf/1802.01436에서 개발된 신경 코덱의 결과를 포함하며, 둘 다 추가 압축마다 PSNR이 꾸준히 감소하며, 낮은 비트레이트에서도 마찬가지입니다. 반면, 전통적인 JPEG 압축은 비트레이트가 높지 않은 한 여러 압축에 걸쳐 상대적으로 안정적인 품질을 유지합니다.*

차트로 표시된 비율-왜곡 곡선은 JPEG AI와 다른 신경 코덱이 모든 비트레이트에서 일관된 PSNR 감소를 보이는 반면, 전통적인 JPEG은 높은 비트레이트에서만 눈에 띄게 품질이 저하됨을 보여줍니다. 이 동작은 JPEG AI 이미지에서 재압축을 탐지하기 위한 명확한 신호를 제공합니다.

양자화

JPEG AI의 가장 어려운 법의학 과제 중 하나는 확산 모델로 생성된 이미지와의 시각적 유사성입니다. 둘 다 압축된 잠재 공간에서 이미지를 처리하는 인코더-디코더 아키텍처를 사용합니다. 그러나 JPEG AI는 효율적인 압축을 위해 잠재 값을 반올림하는 양자화를 적용하며, 이는 일반적으로 생성 모델에서 사용되지 않는 단계입니다. 새 논문은 잠재 표현이 반올림된 값과 어떻게 정렬되는지를 분석하여 양자화의 존재를 테스트하는 법의학 단서를 설계했습니다. 이러한 패턴은 눈에 보이지 않지만, 압축된 진짜 이미지와 합성 이미지를 구분하는 데 도움이 됩니다.

*평균 푸리에 스펙트럼의 예는 JPEG AI 압축 이미지와 Midjourney-V5 및 Stable Diffusion XL과 같은 확산 모델로 생성된 이미지가 주파수 도메인에서 규칙적인 격자 패턴을 보임을 보여줍니다. 반면, 진짜 이미지는 이러한 패턴이 없습니다.*

이 단서는 다양한 생성 모델과 강한 압축에서도 효과적이며, 압축된 진짜 이미지와 합성 이미지를 구분하는 실용적인 방법을 제공합니다.

데이터 및 테스트

압축

JPEG AI 압축을 탐지하기 위한 색상 상관관계 단서를 테스트하기 위해 연구자들은 RAISE 데이터셋에서 고품질 비압축 이미지를 사용하고, JPEG AI 참조 구현을 사용하여 다양한 비트레이트로 압축했습니다. 그들은 색상 채널 상관관계에 대해 간단한 랜덤 포레스트를 훈련시키고, 이미지 픽셀에 대해 훈련된 ResNet50과 비교했습니다. 결과는 ResNet50이 일치하는 테스트 조건에서 잘 수행되었지만, 서로 다른 압축 수준에 일반화하는 데 어려움을 겪었음을 보여줍니다. 그러나 상관관계 기반 접근 방식은 특히 JPEG AI의 전처리 영향이 더 강한 낮은 비트레이트에서 더 일관되었습니다.

*색상 상관관계 기능을 사용한 JPEG AI 압축의 탐지 정확도는 여러 비트레이트에 걸쳐 비교됩니다.*

재압축

JPEG AI 재압축을 탐지하기 위해 연구자들은 서로 다른 비트레이트로 한 번 또는 두 번 압축된 이미지를 사용하여 비율-왜곡 단서를 사용했습니다. 그들은 압축 전반에 걸쳐 비트레이트와 PSNR의 변화를 추적하기 위해 17차원 특징 벡터를 추출했습니다. 이러한 특징에 대해 훈련된 랜덤 포레스트는 이미지 패치에 대해 훈련된 ResNet50을 일관되게 능가했으며, 특히 초기 압축이 강했을 때 두드러졌습니다. 이 방법은 다양한 시나리오에서 안정적이었으며 다른 AI 기반 코덱에도 일반화되었습니다.

*비율-왜곡 특징에 대해 훈련된 랜덤 포레스트의 JPEG AI 이미지 재압축 여부를 탐지하는 분류 정확도 결과.*

JPEG AI와 합성 이미지

마지막으로, JPEG AI 압축 이미지와 완전 합성 이미지를 구분하기 위해 연구자들은 RAISE 데이터베이스의 실제 사진과 다양한 모델에서 생성된 이미지를 혼합한 Synthbuster 데이터셋을 사용했습니다. 그들은 다양한 비트레이트로 JPEG AI를 사용하여 실제 이미지를 압축하고 고정된 영역에서 추출된 양자화 특징에 대해 랜덤 포레스트 분류기를 사용했습니다. 양자화 기반 접근 방식은 특히 압축 아티팩트가 더 두드러진 낮은 비트레이트에서 ResNet50 기준선을 능가했습니다.

*RAISE-1k 데이터셋의 자연 사진에서 영감을 받은 텍스트 프롬프트를 사용하여 생성된 Synthbuster의 합성 이미지 예시.* 출처: https://ieeexplore.ieee.org/document/10334046

*양자화 특징을 사용한 랜덤 포레스트의 JPEG AI 압축 이미지와 합성 이미지를 분리하는 분류 정확도.*

저자들은 양자화 특징이 압축 강도와 생성기 유형에 걸쳐 잘 일반화되었으며, 전체 정수 벡터가 JPEG AI 압축 이미지를 탐지하는 데 더 높은 정확도를 제공한다고 언급했습니다. UMAP 시각화는 JPEG AI와 합성 이미지 사이에 명확한 분리를 보여주었으며, 낮은 비트레이트는 클래스 간 거리를 증가시켰습니다.

*양자화 특징을 기반으로 한 JPEG AI 압축 이미지와 합성 이미지의 2차원 UMAP 시각화.*

마지막으로, 연구자들은 JPEG 재압축 및 이미지 크기 조정과 같은 일반적인 후처리에서 이러한 특징의 견고성을 평가했습니다. 성능은 더 무거운 처리에서 감소했지만, 그 하락은 점진적이었으며 접근 방식의 약간의 회복력을 나타냅니다.

*JPEG 재압축(JPG) 및 이미지 크기 조정(RS)을 포함한 후처리에서 양자화 특징의 견고성 평가.*

결론

JPEG AI가 널리 채택될지는 불확실합니다. 기존 인프라는 새로운 코덱에 도전을 제기하며, AV1과 같은 확립된 코덱조차도 오래된 방법을 대체하는 데 어려움을 겪고 있습니다. JPEG AI의 양자화 아티팩트가 법의학 도구를 계속 혼란스럽게 한다면, 채택이 방해받을 수 있습니다. 그러나 미래의 AI 생성기가 다른 법의학 흔적을 남긴다면, JPEG AI의 현재 문제는 그다지 중요하지 않을 수 있습니다. 그럼에도 불구하고, JPEG AI가 진짜와 생성된 이미지 사이의 경계를 모호하게 만든다면, 그 광범위한 사용은 의문시될 수 있습니다.

최초 게시: 2025년 4월 8일 화요일