AI 도구가 디지털 메이크업을 제거하여 필터를 우회한다

화장품이 미성년자, 특히 여성 사용자들이 데이팅 앱이나 전자상거래 사이트 같은 플랫폼의 셀카 기반 연령 확인 시스템을 우회할 수 있게 하고 있다. 새로운 인공지능 도구는 얼굴 정체성은 유지한 채 화장을 제거하도록 훈련된 판별 모델로 이 취약점을 해결하여 미성년자가 자동화된 검사를 속이기 어렵게 만든다.

온라인 연령 확인을 향한 글로벌 트렌드에 힘입어 제3자 셀카 기반 연령 확인 서비스의 채택이 증가하고 있다.

예를 들어, 영국의 온라인 안전법(Online Safety Act)에 따라 시각적 연령 추정과 같은 방법을 사용하는 다양한 제3자 서비스가 연령 확인을 수행할 수 있습니다. AI가 모바일 카메라 실시간 영상에서 사용자의 나이를 예측하는 방식입니다. Ondato, TrustStamp, Yoti와 같은 업체들이 이 방식을 사용합니다.

그러나 연령 추정 방식은 완벽하지 않습니다. 청소년들이 성인 특권을 얻기 위해 오랫동안 노력해온 결과, 연령 제한이 있는 데이트 사이트, 포럼 및 기타 플랫폼에 효과적으로 진입하는 방법을 개발해왔습니다.

특히 여성* 사이에서 흔히 쓰이는 한 가지 방법은 얼굴에 화장을 하는 것이다. 이는 자동화된 연령 추정 시스템을 속이는 것으로 알려진 전술로, 이러한 시스템은 종종 젊은 사람의 나이를 과대평가하고 나이 든 사람의 나이를 과소평가한다.

여자들만의 문제가 아니다

화장을 '여성 중심'으로 규정하는 것에 대한 잠재적 반론에 앞서, 누구에게든 얼굴 화장품은 성별을 판단하는 신뢰할 수 없는 지표라는 점을 명심해야 합니다:

미국 연구진이 발표한 '자동 성별 및 연령 추정 알고리즘에 대한 얼굴 화장품의 영향' 연구에 따르면, 성별 확인 시스템은 성별 전환 메이크업에 혼란을 겪는 것으로 나타났다. 출처: https://cse.msu.edu/~rossarun/pubs/ChenCosmeticsGenderAge_VISAPP2014.pdf

2024년 기준, 18~24세 미국 남성 소비자의 약 72%가 화장품을 그루밍 루틴에 포함시켰습니다. 다만 대다수는 여성 미용과 연관된 마스카라/립스틱 조합보다는 건강한 피부 표현을 위한 화장품 사용에 그쳤습니다.

따라서 우리는 최근 연구에서 가장 흔히 탐구된 시나리오, 즉 미성년 여성이 자동화된 시각적 연령 확인 시스템을 우회하기 위해 메이크업을 사용하는 경우를 기반으로 이 주제를 접근해야 합니다.

효과적인 메이크업 제거 – AI 방식

이 연구는 뉴욕 대학의 세 명의 연구원이 저술한 새로운 논문인 'DiffClean: 정확한 연령 추정을 위한 확산 기반 메이크업 제거'에서 비롯되었습니다.

이 프로젝트는 사람의 실제 나이를 더 정확하게 판단하기 위해 이미지(그리고 잠재적으로 동영상)에서 메이크업의 외관을 제거하는 AI 기반 방법을 개발하는 것을 목표로 합니다.

신규 논문에서 메이크업 제거가 연령 예측을 어떻게 크게 변화시키는지 보여주는 예시. 출처: https://arxiv.org/pdf/2507.13292

이러한 시스템 개발의 한 가지 과제는 미성년 소녀들이 성인용 화장을 한 이미지를 수집하거나 선별하는 데 따르는 민감성이다. 이를 해결하기 위해 연구진은 제3자 생성적 적대적 네트워크(GAN) 기반 시스템인 EleGANt를 활용해 화장을 합성적으로 적용하는 방식을 채택했는데, 이는 매우 효과적인 접근법이었다:

칭화대학교의 2022년 EleGANt 시스템은 생성적 적대적 네트워크(GAN)를 활용해 원본 사진에 현실적인 화장 효과를 입힌다. 출처: https://arxiv.org/pdf/2207.09840

이렇게 생성된 합성 데이터와 다양한 보조 프로젝트 및 데이터셋을 활용하여, 저자들은 눈에 띄거나 '연기적인' 메이크업 처리 시 기존 최첨단 연령 추정 기법을 뛰어넘는 성과를 거두었습니다.

논문은 다음과 같이 기술한다:

'DiffClean은 텍스트 기반 확산 모델을 활용해 메이크업 흔적을 지워 메이크업 공격을 방어합니다. 이는 디지털 시뮬레이션 및 실제 메이크업 이미지에서 경쟁 기반 모델 대비 연령 추정(미성년자 대 성인 정확도 4.8% 향상) 및 얼굴 인증(FMR=0.01% 기준 TMR 8.9% 향상) 성능을 개선합니다.'

이제 그들의 방법론을 살펴보자.

방법

실제 미성년자 메이크업 사진을 사용하지 않기 위해, 저자들은 UTKFace 데이터셋의 이미지에 EleGANt를 통해 합성 화장법을 적용하여 훈련용 전후 비교 쌍을 생성했습니다.

UTKFace 데이터셋 예시. 출처: https://susanqq.github.io/UTKFace/

이후 DiffClean을 훈련시켜 이 변환을 역전시켰습니다. 연령 추정 알고리즘이 가장 어려움을 겪는 연령대가 어린 그룹인 점을 고려해, 연구진은 10~19세에 특화된 대리 연령 분류기를 개발했습니다. UTKFace 데이터셋으로 훈련된 SSRNet 아키텍처를 가중치 L1 손실과 함께 사용했습니다.

OpenAI의 2021년 확산 모델을 간소화한 버전이 백본을 구성했으며, 다양한 해상도의 어텐션 헤드, 더 깊은 레이어, 업샘플링 및 다운샘플링을 강화하기 위한 BigGAN 스타일 블록이 추가되었습니다.

방향성 제어는 CLIP 프롬프트를 통해 구현되었습니다: '메이크업이 있는 얼굴'과 '메이크업이 없는 얼굴'을 제시하여 모델이 얼굴 세부사항, 연령 단서, 정체성을 보존하면서 메이크업을 제거하도록 유도했습니다.

EleGANt를 사용해 합성 메이크업을 적용했습니다. 각 삼중 조합은 원본 UTKFace 이미지(왼쪽), 참조 메이크업 스타일(중앙), 스타일 전송 후 결과(오른쪽)를 보여줍니다. 이러한 메이크업 전송 방식은 컴퓨터 비전 연구에서 흔히 사용되며, 참조 이미지에서 대상 이미지로 메이크업을 적용할 수 있는 Adobe Photoshop의 신경망 필터에서도 구현 가능합니다.

얼굴 정체성이나 연령 단서를 변경하지 않으면서 메이크업 제거를 안내한 네 가지 핵심 손실 함수. CLIP 기반 손실 외에도, 정체성 보존을 위해 InsightFace 라이브러리의 가중치 ArcFace 손실을 사용해 생성된 얼굴과 원본 클린 이미지 및 '메이크업 적용' 버전 간의 유사성을 측정하여 일관성을 보장했습니다.

셋째, 지각적 손실인 LPIPS(Learned Perceptual Similarity Metrics)는 L1 거리를 활용해 화소 수준에서의 사실성을 강화하고 메이크업 제거 후 원본 이미지의 외관을 유지했습니다.

마지막으로, 연령 감독에는 UTKFace로 훈련된 미세 조정된 SSRNet을 사용했으며, 오분류가 가장 흔한 10~29세 연령대에서 오류를 더 크게 처벌하는 평활화된 L1 손실을 적용했습니다. 변형 버전은 특정 연령의 외모를 맞추기 위해 CLIP 기반 연령 프롬프트를 사용했습니다.

추론 시간의 연령 추정을 위해 2023년 MiVOLO 프레임워크를 사용했습니다.

데이터 및 테스트

UTKFace에 대한 SSRNet 미세 조정은 15,364개의 훈련 이미지와 6,701개의 테스트 이미지를 사용했습니다. 원래 20,000개의 이미지는 70세 이상 개인을 제외하기 위해 필터링되었으며 70:30 비율로 분할되었습니다.

2023년 DiffAM 프로젝트의 방법에 따라, 훈련은 두 단계로 진행되었습니다: BeautyGAN의 MT 데이터 세트에서 가져온 300개의 실제 메이크업 이미지로 초기 세션(훈련용 200개, 검증용 100개)을 진행했습니다.

EleGANt를 통해 합성 메이크업으로 증강된 추가 UTKFace 이미지 300개로 모델을 추가 정제하여, BeautyGAN의 5가지 참조 스타일에 걸쳐 페어링된 최종 훈련 세트 600개 예제를 생성했습니다. 메이크업 제거는 여러 스타일을 단일 클린 얼굴에 매핑하는 과정이므로, 훈련은 모든 화장품 변형을 포괄하기보다 광범위한 일반화에 중점을 두었습니다.

성능은 합성 이미지와 실제 이미지 모두에서 평가되었습니다. 합성 테스트에는 Flickr-Faces-HQ 데이터셋(FFHQ)의 2,556개 이미지가 사용되었으며, 이는 70세 미만 9개 연령대를 균등하게 샘플링하고 EleGANt로 수정된 것입니다.

일반화 능력은 실제 메이크업이 적용된 BeautyFace의 3,000개 이미지와 LADN의 355개 이미지를 사용하여 평가했습니다.

화장 영향이 있는 다양한 얼굴 영역을 정의하는 의미적 분할을 보여주는 BeautyFace 데이터셋의 예시. 출처: https://li-chongyi.github.io/BeautyREC_files/

지표 및 구현

지표로는 기준 연령과 예측값 간의 평균 절대 오차(MAE, 낮을수록 좋음), 정확한 그룹화를 평가하기 위한 연령대 정확도(낮을수록 좋음), 성인을 정확하게 식별하기 위한 미성년자/성인 정확도(높을수록 좋음)를 사용했습니다.

또한 신원 확인 지표인 진정한 일치율(True Match Rate, TMR)과 거짓 일치율(False Match Rate, FMR) 및 관련 수신자 작동 특성(Receiver Operating Characteristic, ROC) 값을 보고했습니다.

SSRNet은 64×64px 이미지에서 배치 크기 50으로, Adam 최적화기, 가중치 감쇠 1e−4, 코사인 어닐링 스케줄러, 학습률 1e−3을 사용하여 200에포크 동안 조기 종료와 함께 미세 조정되었습니다.

DiffClean은 256×256px 입력 이미지를 처리하며, 학습률 4e−3의 Adam을 사용하여 5에포크 동안 미세 조정되었습니다. 샘플링에는 40회의 DDIM 역전 단계와 6회의 DDIM 전진 단계가 사용되었습니다. 모든 훈련은 단일 NVIDIA A100 GPU에서 수행되었습니다.

비교 대상으로 테스트된 시스템은 CLIP2Protect와 DiffAM입니다. 저자들은 '매트' 메이크업 스타일을 사용했으며, CLIP2Protect가 더 효과적인 것으로 나타났습니다.

기준선으로 DiffAM을 재현하기 위해 BeautyGAN의 사전 훈련 모델을 MT 데이터셋에서 미세 조정했습니다. 적대적 메이크업 전이를 위해 DiffAM 체크포인트를 기본 매개변수로 사용했습니다.

MiVOLO를 사용한 연령 추정 작업에서 DiffClean의 기준 모델 대비 성능. 보고된 지표는 미성년자/성인 분류 정확도, 연령대 분류 정확도, 평균 절대 오차(MAE)입니다. CLIP 연령 손실을 적용한 DiffClean이 모든 지표에서 최상의 결과를 달성했습니다.

저자들은 다음과 같이 기술합니다:

‘[저희] 방법인 DIFFCLEAN은 두 기준 모델인 CLIP2Protect와 DiffAM을 모두 능가하며, 메이크업으로 인해 손상된 연령 단서를 MAE를 낮추고(5.71로) 전체 연령대 예측 정확도를 향상시킴으로써(37%로) 성공적으로 복원할 수 있습니다.

‘저희의 목표는 미성년자 연령대에 집중되었으며, 결과는 미성년자와 성인 연령 분류에서 88.6%의 우수한 정확도를 달성했음을 보여줍니다.’

기준법과 제안된 방법의 메이크업 제거 결과. 가장 왼쪽 열은 원본 이미지, 다음 열은 CLIP2Protect와 DiffAM의 출력 결과입니다. 세 번째 열은 SSRNet과 CLIP 기반 연령 손실을 통한 DiffClean의 결과를 보여줍니다. 저자들은 DiffClean이 CLIP2Protect에서 관찰된 특징 왜곡과 DiffAM이 놓친 잔여 화장 흔적을 피하면서 메이크업을 더 효과적으로 제거한다고 주장합니다.

저자들은 메이크업이 인지된 연령에 균일하게 영향을 미치지 않으며(증가, 감소 또는 변화 없음), 따라서 DiffClean은 예측 연령을 일률적으로 감소시키지 않고 화장품 흔적을 제거하여 원래의 연령 지표를 복원하는 것을 목표로 한다고 설명합니다:

CelebA-HQ 및 CACD 데이터셋의 메이크업 제거 예시. 각 열은 메이크업 제거 전(왼쪽)과 후(오른쪽)의 이미지 쌍을 보여줍니다. 첫 번째 열에서는 메이크업 제거 후 예측 연령이 감소하고, 두 번째 열에서는 변하지 않으며, 세 번째 열에서는 증가합니다.

일반화 성능을 검증하기 위해 실제 메이크업이 적용되었으나 대응되는 클린 이미지가 없는 BeautyFace 및 LADN 데이터셋에서 DiffClean을 실행했습니다. 메이크업 제거 전후의 나이 예측값을 비교하여 DiffClean이 메이크업으로 인한 왜곡을 얼마나 효과적으로 감소시켰는지 측정했습니다:

LADN(왼쪽 쌍) 및 BeautyFace(오른쪽 쌍) 데이터셋의 실제 이미지에서 메이크업 제거 결과. DiffClean은 화장품을 제거하여 예측 연령을 낮추고, 외관상 연령과 실제 연령 간의 차이를 좁힙니다. 흰색 숫자는 처리 전후의 추정 연령을 나타냅니다.

결과는 DiffClean이 실제 연령과 외관상 연령 간의 차이를 지속적으로 좁혀, 평균 약 3년의 과대/과소 추정 오차를 감소시켰음을 보여주며, 실제 화장품 스타일에 대한 강력한 일반화 능력을 시사합니다.

결론

눈에 띄는 메이크업이 적대적으로 활용될 수 있다는 점은 흥미로우면서도 어쩌면 필연적입니다. 소녀들은 각기 다른 속도로 성숙하지만 일반적으로 집단적으로 더 빠르게 성장하기 때문에, 미성년 여성에서 성인 여성으로의 전환점을 식별하는 것은 이 연구 분야에서 가장 야심찬 과제 중 하나입니다.

그럼에도 시간이 지나면 데이터가 시각적 연령 검증 시스템을 고정시킬 일관된 연령 관련 지표를 드러낼 수 있을 것이다.

* 본 주제의 민감성을 고려하고, '소녀들(girls)'이 배제적이며(현재 여성 성별을 지칭하는 표준 용어인 '여성과 소녀들(women and girls)'은 본문에 적합하지 않음), '여성(females)'이 가능한 최선의 타협안으로 사용되었습니다—비록 모든 인구통계학적 뉘앙스를 포착하지는 못하지만, 이에 대해 사과드립니다.

^†본문에서 '퍼포먼스적'이란 마스카라, 아이라이너, 블러셔, 파운데이션처럼 의도적으로 노출되고 인식되도록 하는 메이크업을 의미하며, 커버 크림이나 기타 미묘한 화장품 적용과는 대조됩니다.

최초 게재일: 2025년 7월 18일 금요일