비밀 추적 데이터, AI 모델 도용 사건 폭로

새로운 방법은 재훈련 없이도 ChatGPT와 같은 모델에 몇 초 만에 보이지 않는 워터마크를 적용할 수 있으며, 표준 출력물에 흔적을 남기지 않고 모든 실질적인 제거 시도를 견딥니다.

워터마킹과 '저작권 유인(copyright-baiting)'의 핵심 차이점은 워터마크(가시적이든 숨겨진 것이든)는 일반적으로 이미지 데이터셋과 같은 컬렉션 전체에 걸쳐 나타나도록 설계되어 무분별한 복사를 지속적으로 억제한다는 점입니다.

반면, 허위 항목은 대규모 일반 컬렉션 내에 배치된 작은 텍스트 조각(주로 단어나 정의)으로, 도용을 입증하기 위한 목적입니다. 핵심은 전체 저작물이 무단으로 복제되거나(직접적 복제 또는 파생 저작물 기반) 원작자가 심어둔 고유한 허위 사실이 존재할 경우 도용을 쉽게 드러낸다는 점입니다.

대규모 언어 모델(LLM) 및 비전 언어 모델(VLM)에 워터마킹을 적용할 때, 출력물에 이러한 마커가 포함되는 정도는 일반적으로 두 가지 범주로 나뉩니다: 모든 또는 대부분의 출력물에 명백하거나 숨겨진 워터마크를 포함하도록 보장하는 경우; 또는 모델의 일반 출력물에는 나타나지 않으면서도 도용을 증명하기 위해 복구 가능한 '비밀 토큰'을 임베딩하는 경우입니다.

증거의 무게

후자의 접근법은 중국, 이탈리아, 싱가포르 연구진 간의 새로운 협업에서 탐구되었습니다. 이 연구는 오픈소스 모델에 대한 공개 방법을 제공하여 무단 상업화나 원본 라이선스 조건을 벗어난 사용을 방지하는 것을 목표로 합니다.

예를 들어, 모델의 원래 라이선스는 누구나 동일한 관대한 조건으로 수정 사항을 공유하는 한 수익을 창출할 수 있도록 허용할 수 있습니다. 그러나 기업은 불공정한 이점을 창출하기 위해 조정 사항(예: 미세 조정된 버전)을 비공개로 유지하려고 시도할 수 있습니다.

이 분야의 대부분의 연구는 폐쇄형 소스, API 전용 모델 또는 최적화된(양자화된) 가중치만 제공되는 모델에서 오용을 탐지하는 데 집중되어 있습니다. 이러한 모델들은 모델 아키텍처에 대한 접근이 제한되어 있어 본 논문의 접근법으로 효율적으로 수정하기 어렵습니다.

FOSS 공개에 대한 이러한 초점은 중국 연구계의 특성상 예상된 바일 수 있다. 지난 1년간 중국의 AI 성과는 제한적인 서양 모델과 경쟁할 만한 관대한 전체 가중치* 모델 공개로 특징지어졌기 때문이다.

EditMark라는 새로운 접근법은 '오염된' 데이터를 추가하기 위한 미세 조정이나 해당 데이터를 포함하여 처음부터 훈련할 필요가 없다는 점에서 두드러집니다.

이는 여러 장점을 제공합니다: 첫째, 훈련 세트에 포함된 '단서가 되는' 데이터는 발견 및 공개되면 공격자가 직접 표적으로 삼을 수 있기 때문에 무효화됩니다. 그러나 EditMark를 공격하려면 악의적인 행위자가 표적 모델 레이어와 사용된 방법을 알아야 하는데, 이는 발생 가능성이 낮은 시나리오입니다.

둘째, 이 방법은 빠르고 저렴하며, 훈련된 모델에 적용하는 데 단 몇 초(며칠 또는 몇 주가 아닌)만 소요되어 모델 및 데이터 크기에 따라 증가하는 높은 비용의 미세 조정을 피할 수 있습니다.

마지막으로, 이 접근법은 모델의 정상적인 운영에 미치는 방해가 미세 조정이나 기존 편집 방법에 비해 현저히 적습니다.

테스트에서 EditMark는 모델 가중치에 여러 가능한 답이 있는 수학적 쿼리를 포함시켜 100% 추출률을 달성했습니다.

저자들은 다음과 같이 밝혔습니다:

'포괄적인 실험을 통해 EditMark가 대규모 언어 모델(LLM) 워터마킹에서 탁월한 성능을 입증했습니다. 32비트 워터마크를 20초 미만에 삽입하면서도 100% 추출 성공률(ESR)을 달성하는 놀라운 효율성을 보여줍니다.

특히 워터마크 삽입 시간이 파인 튜닝(평균 6,875초 소요)에 비해 1/300 미만으로 단축되어, EditMark가 전례 없는 속도와 신뢰성으로 대용량 워터마크를 구현할 수 있음을 입증합니다.

'또한 광범위한 실험을 통해 EditMark의 견고성, 은닉성 및 충실도가 입증되었습니다.'

이 새로운 논문은 'EditMark: 모델 편집 기반의 대규모 언어 모델 워터마킹(EditMark: Watermarking Large Language Models based on Model Editing )'이라는 제목으로, 중국과학기술대학, 시에나 대학, 싱가포르 CFAR/IHPC/A*STAR의 8명의 저자가 공동 집필했습니다.

방법

EditMark 접근법은 생성기( Generator), 인코더( Encoder), 편집기(Editor), 디코더(Decoder)의 네 가지 구성 요소로 이루어집니다:

EditMark 파이프라인은 모델을 편집하여 특정 수학 문제를 답하는 방식으로 워터마크를 삽입하며, 이 과정에서 숨겨진 식별 정보를 인코딩합니다. 출처: https://arxiv.org/pdf/2510.16367

생성기는 의사 난수 시드를 사용하여 다중 선택형 수학 문제를 생성합니다. 인코더는 워터마크에 기반하여 답안을 선택한 후, 특수 편집 과정을 통해 모델에 이를 임베딩합니다. 편집된 모델이 공개되거나 오용될 경우, 동일한 질문을 제시하고 응답 패턴을 디코딩함으로써 워터마크를 추출할 수 있습니다.

에디터는 모델 가중치를 수정하여 시드 질문에 대해 모델이 일관되게 목표 답변을 생성하도록 하여 워터마크를 모델 동작에 직접 내장합니다. 디코더는 의심 모델에 동일한 질문을 입력하고 그 답변을 숨겨진 서명으로 역변환하여 워터마크를 복구합니다.

위협 모델

본 논문의 위협 모델은 워터마킹이 화이트박스 환경에서 수행된다고 가정합니다. 이는 보안 연구에서 흔히 우려되는 사항이지만, 본 방법은 자신의 작업물에 대한 완전한 접근 권한을 가진 소유자를 보호하는 것을 목표로 하므로 여기서는 정상적인 가정입니다.

공격자 역시 모델 획득 후 화이트박스 접근 권한을 가진 것으로 가정됩니다. 즉, 모델을 수정(예: 프루닝 또는 파인 튜닝)할 수 있습니다. 이는 FOSS(자유 및 오픈소스 소프트웨어) 배포 시 전형적인 시나리오입니다. 그러나 공격자는 워터마크 추출 과정이나 스키마를 알지 못하며, 실험이나 유출을 통해서만 이를 추론할 수 있습니다.

생성기는 논리적·사실적으로 타당한 수학 문제를 생성하며, 다수의 정답을 포함합니다. GPT‑4o를 활용해 템플릿을 다양화하고(아래 예시 참조), 의사 난수 시드를 사용해 각 문제가 고유하도록 보장합니다. 이를 통해 알려진 워터마크를 정답 순열을 통해 결정론적으로 삽입할 수 있으며, 문제 중복을 최소화하여 편집 얽힘을 방지합니다:

워터마크 삽입을 위해 GPT-4o가 생성한 문제 템플릿. 각 템플릿은 시드화된 부등식에서 여러 유효한 정수 답을 도출하도록 구조화됨.

인코더는 각 이진 워터마크 세그먼트를 주어진 수학 문제의 해답 집합에서 정수의 고유한 순열로 변환합니다. 사전순 순열 이론을 활용하여 인코더는 각 워터마크 청크의 십진수 값을 특정 순서의 해답 선택으로 매핑함으로써 워터마크가 모델 동작에 결정론적으로 내장되도록 보장합니다.

에디터와 관련하여, 워터마킹에 사용된 기존 AlphaEdit 모델 편집 방식은 정밀도와 내구성이 모두 부족하여 요구되는 답을 생성하지 못하는 경우가 많습니다. 이 방식이 가한 변경 사항은 정제(pruning)나 노이즈에 의해 쉽게 무력화됩니다.

이를 해결하기 위해 저자들은 단일 MLP 계층에서 모델 가중치를 점진적으로 조정하여 응답이 원하는 답과 일치할 때까지 다단계 편집 전략을 개발했습니다. 편집을 변조로부터 강화하기 위해 훈련 중 가우시안 노이즈를 주입하여 공격을 시뮬레이션합니다:

공격 전후 Baichuan-7B, Qwen-7B, LLaMA3-8B의 K1 변화 분포. 상단 행은 무작위 노이즈 주입 효과, 하단 행은 모델 프루닝 효과를 보여줍니다. 모든 변화가 0에 근접하여 공격이 모델 내부 동작을 크게 방해하지 않음을 시사합니다.

점수 체계는 편집 정확도가 충분히 높아지면 프로세스를 중단하며, 정규화는 여러 라운드에 걸쳐 업데이트가 안정적으로 유지되도록 보장합니다.

디코더는 워터마킹 시 사용된 것과 동일한 특수 질문을 모델에 제시한 후, 답변을 읽어 숨겨진 ID를 추론합니다. 답변 패턴이 비밀 규칙을 따르기 때문에, 이 ID는 모델 내부 구조를 검사하지 않고도 복구할 수 있습니다.

데이터 및 테스트

EditMark 평가를 위해 다섯 가지 LLM을 테스트했습니다: GPT2-XL; GPT-J-6B; LLaMA-3-8B; Baichuan-7B; Qwen-7B. 앞서 언급한 AlphaEdit를 워터마크 임베딩에 사용했으며, 추출 성공률(ESR)과 임베딩 시간(ET)을 지표로 삼았습니다.

기준선으로 저자들은 Model Watermark(백도어), KIMark, 그리고 본 프로젝트에 적용된 백도어 주입용으로 설계된 프레임워크인 BadEdit를 선택했습니다.

저자들은 LLaMA-3-8B의 15번째 레이어, GPT2-XL 및 GPT-J-6B의 17번째 레이어, Qwen-7B 및 Baichuan-7B의 14번째 레이어를 편집했습니다.

실험은 32비트, 64비트, 128비트 길이의 워터마크를 삽입하여 4개의 NVIDIA RTX 4090 GPU(각각 24GB VRAM)에서 수행되었습니다. 사용된 질문 템플릿은 아래와 같습니다:

워터마킹용 다중 답변(MA) 문제 생성에 사용된 템플릿. 각 문제는 서로 다른 유형의 수학적 부등식을 기반으로 하며, 변수에는 임의의 값이 삽입됩니다. 모델은 정수 해의 목록을 반환하도록 요청받으며, 답변의 순서는 워터마크 비트 인코딩 또는 디코딩에 사용됩니다. 네 가지 템플릿은 2차, 로그, 유리수, 구간 기반 형태를 다루며, 모두 GPT-4o를 사용하여 생성되었습니다.

무작위성 영향을 줄이기 위해, 다양한 워터마킹 용량에 걸쳐 테스트 시 1부터 20까지의 시드(seed)를 적용했습니다.

연구진은 초기 단계에서 LLM 전반에 걸쳐 워터마크 삽입의 ESR(추출 성공률)과 시간 비용을 모두 테스트했습니다:

다섯 가지 대규모 언어 모델에서 EditMark와 기존 세 가지 워터마킹 기법의 비교. 추출 성공률(ESR)과 임베딩 시간(ET, 초 단위)을 보고합니다. EditMark는 일관되게 100% 성공률을 달성하면서 임베딩 시간을 수십 배 단축시켜, 다양한 규모와 아키텍처의 모델 전반에서 정확도와 효율성 모두에서 모든 기준선을 능가합니다.

이러한 결과에 대해 저자들은 다음과 같이 언급합니다:

'[EditMark]은 평가된 모든 LLM에서 32비트 워터마크를 삽입하는 데 100% ESR을 달성하며 20초 미만의 시간이 소요됩니다. 특히 Baichuan-7B와 Qwen-7B의 평균 삽입 시간은 10초 미만으로 EditMark의 높은 효율성을 입증합니다.'

해당 방식에서 가능한 최대 값인 128비트 워터마크의 경우, EditMark는 '지워지지 않음'을 유지했습니다:

5개 언어 모델에서 32비트, 64비트, 128비트 워터마크 길이에 따른 EditMark의 추출 성공률 및 임베딩 시간. 모든 경우 완벽한 성공률을 유지하며, 임베딩 시간은 워터마크 크기에 따라 증가하나 128비트에서도 1분 미만으로 유지됩니다.

다음으로, 시스템의 워터마크 충실도 유지 능력을 여러 벤치마크에서 테스트했습니다:

다섯 모델에 걸쳐 네 가지 벤치마크에서 워터마크 충실도 평가. 수정되지 않은 모델과 32비트 및 128비트 용량으로 워터마크 처리된 모델 비교. 구성 전반에 걸쳐 성능은 안정적으로 유지되었으며, 평균 점수에서 미미한 변동만 관찰되어 워터마크 삽입이 벤치마크 정확도에 미치는 영향이 제한적임을 나타냄.

EditMark의 내구성은 여섯 가지 일반적인 공격 전략에 대해 테스트되었습니다. 모델은 먼저 다섯 가지 다른 시드를 사용하여 128비트 워터마크로 임베딩되었습니다. 아래와 같이 보여지는 것처럼, 대부분의 모델에서 미세 조정(fine-tuning)은 추출 성공률(ESR)에 약간의 저하만을 초래했습니다:

1~3 에포크 동안 미세 조정 전후 워터마크 적용 LLM의 추출 성공률(ESR). 대부분의 모델은 전반적으로 높은 ESR을 유지했으나, Qwen-7B는 현저한 하락을 보여 매개변수 업데이트에 대한 취약성이 더 큼을 시사합니다.

여러 에포크 후에도 대부분의 모델은 90% 이상의 ESR을 유지하여 EditMark가 LoRA 기반 훈련의 매개변수 드리프트에 저항함을 보여주었다.

양자화 공격은 모델 정밀도를 저하시켰으나 대부분의 워터마크는 무사했습니다:

Int-8 및 Int-4 정밀도를 사용한 양자화 전후 워터마크 적용 모델의 추출 성공률(ESR). 모든 모델에서 Int-8 양자화 시 ESR은 변함없었으나, Int-4 양자화는 부분적 저하를 초래하여 낮은 정밀도가 워터마크를 약화시킬 수는 있으나 완전히 제거하지는 못함을 나타냄.

위에서 보듯이 Int-8 양자화는 모든 모델에서 100% ESR을 유지한 반면, Int-4 양자화는 ESR에 중간 정도의 영향을 미쳤으나 허용할 수 없는 성능 저하를 초래했습니다.

본 논문은 해킹된 모델이 성능 저하를 동반한다는 점에서 공격자에게 제한된 잠재력만을 제공한다고 지적합니다.

노이즈 및 프루닝 테스트는 MMLU, BLIMP, TruthfulQA, GLUE 네 가지 벤치마크 프레임워크를 평가했습니다. 이러한 공격은 교란이 심화될수록 ESR을 감소시켰습니다:

노이즈(상단 행) 및 프루닝(하단 행) 공격이 ESR과 워터마크 적용 모델의 벤치마크 성능에 미치는 영향. 교란 증가에 따라 ESR이 하락함에 따라 벤치마크 정확도도 저하되었으며, 특히 높은 노이즈 강도와 프루닝 비율에서 두드러졌습니다. 이는 워터마크 제거와 모델 유용성 사이의 (관례적인) 긴장 관계를 부각시킵니다.

그러나 이는 작업 성능의 급격한 저하를 동반했으며, Baichuan-7B는 노이즈나 프루닝이 적용될 때 BLIMP에서 27-31%의 성능 하락을 경험했습니다.

모델 편집 및 적응형 공격도 평가되었습니다:

다양한 수준의 모델 편집을 적용한 워터마크 모델의 추출 성공률. 알려진 워터마크 레이어에 최대 50회의 편집을 가했음에도 모든 모델에서 ESR은 95% 이상을 유지하여, 직접적인 매개변수 수정이 워터마크 제거에 미치는 영향이 제한적임을 나타냅니다.

여기서 EditMark는 정확한 임베딩 레이어를 표적으로 삼았을 때에도 95% 이상의 ESR을 유지했습니다.

결론

DRM, 비밀 워터마크 및 기타 보안 조치는 AI 이전 시대에 제한된 성공을 거두었으며, 머신러닝 시스템에 적용하기 어렵습니다. 현재 호스트 아키텍처의 의도적으로 단순화된 특성과 적합한 도구의 부재가 결합되어 주입된 워터마크는 상대적으로 취약합니다.

공격자의 사전 지식을 고려할 때, 가장 발생 가능성이 낮은 공격 시나리오를 제외한 모든 공격을 견디는 FOSS 모델 배포를 목표로 하는 시스템을 보는 것은 인상적입니다. 그러나 훈련 후 편집으로 인한 성능 저하는 이 실험에서 미미하지만, 잠재적 도입자들에게 주저하게 만들 수 있습니다. 특히 API 중심 제어 모델로 되돌리면 이러한 공격을 거의 완전히 피할 수 있기 때문입니다.

* 이 사이트는 중국의 '공개 가중치' 공개가 데이터가 종종 숨겨져 훈련 파이프라인의 정확한 재현을 방해하기 때문에 완전한 FOSS로 인정받기 어려울 수 있다고 주장해왔다. 이 주 

* 본 사이트는 중국의 '오픈 웨이트' 공개가 데이터가 종종 공개되지 않아 훈련 파이프라인의 정확한 재현을 방해하므로 완전한 FOSS로 인정받기 어렵다고 주장해왔다. 이 주제는 동서양 간 AI 모델 공개의 정치적 측면에 대한 심층적 검토를 요구하나, 이는 본 글의 범위를 벗어난다.

최초 게시일: 2025년 10월 27일 월요일