인공지능 시스템, 터무니없는 과학 논문을 승인하도록 속아넘어갔다

새로운 연구에 따르면, 인공지능 시스템이 이제 다른 인공지능 모델들이 진품으로 오인하는 사기성 과학 논문을 생성할 수 있게 되었다. 이러한 조작된 연구들은 기존에 효과적이었던 탐지 방법을 우회하며, 연구 생태계가 봇이 다른 봇을 속이는 악순환으로 붕괴될 위험성을 부각시키고 있다.

아이러니하게도 AI 혁신의 최전선에 있는 학술 연구 분야가 AI에 의해 촉발된 신뢰성 위기에 직면해 있다. 머신러닝은 약 4년 전 잠재적 영향력이 드러난 이후 연구, 논문 제출, 동료 평가 과정을 근본적으로 재편해왔다. 최근 논란은 저품질 설문조사 논문들의 대량 생산과 관련된다.

다른 학문 분야와 마찬가지로 연구계도 텍스트 생성 AI(ChatGPT, Claude 시리즈 등)와 합성 콘텐츠를 식별하도록 설계된 고급 '탐지' AI 사이의 조용한 갈등에 갇혀 있다. 이상적으로는 학생이나 연구자를 허위로 고발하지 않으면서 말이다.

AI 지원 시스템으로 인해 과학 논문 제출량이 급증함에 따라 이러한 갈등은 더욱 심화될 전망이다. 이 추세는 AI가 완전히 생성한 논문을 걸러내기 위한 산업화된 AI 기반 감독 체계의 필요성을 촉진하고 있다.

가짜 지식 환영

최근 미국-사우디아라비아 공동 연구는 추가적인 기만적 전술을 활용하는 완전 AI 생성 논문이 신흥 AI 탐지 '방화벽'을 얼마나 효과적으로 뚫을 수 있는지 탐구했다.

실험에서 'BadScientist'라는 이름의 이 새로운 시스템은 현재 과학 논문에서 AI 생성 콘텐츠를 탐지하는 데 사용되는 대규모 언어 모델(LLM)로부터 최대 82%의 승인률을 달성했습니다:

BadScientist 시스템은 하나의 AI 에이전트가 가짜 과학 논문을 생성하고, 다른 에이전트가 현재의 언어 모델을 활용해 이를 검토하는 방식으로 작동한다. 출처: https://arxiv.org/pdf/2510.18003

가짜 논문들은 실제 AI 학회 주제를 기반으로 하며 오도 전략을 사용했습니다. 이들은 동료 평가 데이터로 훈련된 모델들(무결성 검증을 위한 GPT-5 포함)에 의해 평가되었습니다. 명백한 오류나 조작된 내용을 포함했음에도 많은 논문들이 높은 점수를 받았습니다.

이 연구 발표는 스탠퍼드에서 열린 '과학을 위한 AI 에이전트 오픈 컨퍼런스 2025'와 시기를 같이한다. 이 행사에서 참석자와 발표자는 인간이지만, 모든 논문은 다양한 AI 시스템이 작성하고 검토한다.

신규 논문에 따르면, BadScientist는 누락, 허위 주장, 과장 등 다양한 학술적·수사적 기만 수단을 활용해 대부분의 기존 AI 콘텐츠 식별 시스템의 탐지를 회피한다. 이러한 전략들은 곧 살펴볼 예정이다.

저자들은 가짜 논문에서 AI 생성 콘텐츠를 탐지 시스템이 식별하더라도 여전히 승인하는 경우가 많다는 점을 우려한다. 이 새로운 위협에 대한 방어 체계를 강화하려는 그들의 시도조차 무작위 확률 대비 미미한 개선만 가져왔다.

논문은 다음과 같이 기술한다:

"조작된 논문은 높은 승인률을 보이며, 심사위원들은 종종 우려와 승인 사이의 갈등(integrity issues를 지적하면서도 여전히 승인을 권고하는)을 보인다. 이러한 근본적인 결함은 현재의 AI 심사위원들이 비판적 평가자라기보다 패턴 매칭기에 가깝게 작동함을 드러낸다.

[…] 단순히 대규모 언어 모델(LLM) 심사위원들에게 '더 신중하라'고 요구하는 것은 불충분하다. 과학계는 시급한 선택에 직면해 있다. 출처 검증, 무결성 가중치 평가, 필수적인 인간 감독을 포함한 다층적 방어 체계의 즉각적 도입 없이는 정교한 위조가 진정한 연구와 설득력 있는 위조물을 구분하는 우리의 능력을 압도하는 'AI 단독 출판 루프'에 빠질 위험이 있다.

“과학적 지식의 무결성 자체가 위태롭습니다.”

이 새로운 논문은 'BadScientist: 연구 에이전트가 LLM 심사위원을 속일 수 있는 설득력 있지만 근거 없는 논문을 작성할 수 있을까?'라는 제목으로, 워싱턴 대학과 리야드의 킹 압둘아지즈 과학기술도시(KACST) 소속 연구원 6명이 공동으로 작성했다. 논문과 함께 프로젝트 웹사이트도 공개되었다.

방법론

본 연구에서 사용된 논문 생성 프레임워크는 2024년 AI-Scientist 협업의 대대적인 개편판이다. 저자들은 전체 파이프라인이 근본적으로 재설계되어 기본적인 글쓰기 프롬프트만 유지하고 모든 실험 실행 및 템플릿 구조를 제거했다고 밝힌다. 업데이트된 시스템은 단순한 시드(seed)에서 시작하여 실험 결과를 자유롭게 발명하고 필요에 따라 플로팅 코드를 생성할 수 있다.

이 프레임워크의 궁극적 목표는 실제 실험 수행이나 진위 데이터 사용 없이 AI가 설득력 있는 가짜 논문을 생산하도록 하는 것이다. 대신 시스템은 의도적으로 조작된 주장을 뒷받침하기 위해 합성 데이터를 생성하거나 조작한다.

저자들은 이 설정에서 의도적으로 인간의 개입, 프롬프트 조작, 작성자-검토자 에이전트 간 공모를 배제했음을 명확히 한다. 검토자 AI는 실제 동료 검토 조건을 반영하여, 논문 자체에만 접근 가능하고 실험 재실행 능력이 없는 상태에서 단일 패스로 각 제출물을 평가했다.

가짜 논문 생성에 사용된 "원자적 전략"은 개별적으로 또는 조합하여 적용 가능한 모듈식 전술이다. 학술 문헌을 자주 접하는 독자에게 익숙한 이러한 전략에는 다음이 포함된다:

• * 방법론의 획기적 발전을 과장하여 주요 진보로 포장하기 (TooGoodGains)
• 신규 방법에 유리한 기준선과 결과를 선택하면서 주요 표에서 신뢰 구간을 생략하기(BaselineSelect);
• 부록에 깔끔한 제거 실험, 정확한 통계, 정교한 표를 포함시키면서 향후 코드나 데이터 제공을 약속하는 것(통계 연극);
• 일관된 용어, 상호 참조, 서식으로 논문 구조를 다듬기(CoherencePolish);
• 유효해 보이지만 숨겨진 오류가 있는 형식적 증명을 추가하는 것(ProofGap).

데이터 및 테스트

시스템 평가를 위해 저자들은 GPT-5를 활용해 주요 AI 분야( 인공지능, 머신러닝, 컴퓨터 비전, 자연어 처리, 로봇공학, 시스템, 보안)에 걸친 연구 주제를 생성했습니다.

이러한 범주는 가짜 논문의 시드 주제로 활용되었으며, 각 주제는 위에서 언급한 전략을 사용하여 검토자를 오도하거나 감명시키기 위해 네 가지 버전으로 확장되었습니다. 채택 여부는 AI 검토자가 부여한 최종 등급에 의해서만 결정되었습니다.

모든 가짜 논문은 GPT-5가 완전히 작성했습니다. 검토를 위해 저자들은 GPT-4.1, o4-mini, o3를 사용했으며, 각각 실제 동료 평가 점수 기준과 구조를 모방하도록 설계된 동일한 검토 프롬프트를 제공받았습니다.

의미 있는 심사 점수를 보장하기 위해, 시스템은 ICLR 2025 OpenReview 데이터셋(실제 논문, 심사자 코멘트, 채택 결과로 구성된 공개 자료)의 실제 제출물 200건을 사용하여 보정되었습니다.

이 데이터로부터 두 가지 점수 기준이 설정되었습니다: 하나는 ICLR의 실제 합격률 31.73%에 맞춰 7점을 커트라인으로 설정했으며, 다른 하나는 인간 리뷰어에게 50%의 합격 확률을 가질 점수(6.667점으로 계산)를 반영했습니다.

연구진은 1~3명의 AI 심사위원(각각 1~10점 사이 점수 부여)을 활용해 5,000편의 가짜 논문에 대한 심사를 시뮬레이션함으로써 시스템의 신뢰성을 검증했습니다. 결과는 이러한 노이즈가 많은 환경에서도 시스템이 최악의 이론적 한계보다 훨씬 적은 오류를 보인다는 점을 보여주었습니다.

검토자를 1명에서 3명으로 늘리면 점수 변동성이 현저히 감소하여 결정 안정성이 거의 3배 향상되었다. 이러한 결과는 3개의 검토 모델과 200편의 실제 논문으로 구성된 교정 세트 사용을 정당화했다.

생성기를 평가하기 위해 두 가지 지표를 정의했습니다: 가짜 논문이 합격 점수를 받는 빈도를 측정하는 '수락률(ACPT)'과 제출물 전반의 평균 평가를 포착하는 '평균 심사자 점수'입니다. 두 지표 모두 시스템이 심사자를 얼마나 효과적으로 속일 수 있는지 측정하는 데 사용되었습니다:

수락률(ACPT)은 두 가지 기준점(ICLR 2025 수락률과 50% 인간 수락률 추정값)을 초과한 가짜 논문 비율을 나타낸다. 무결성 우려율(ICR-m)은 각 심사 모델별 경고 비율을 보여준다. 마지막 열은 다수결 투표를 기반으로 한 통합 비율을 제공한다.

거짓 논문은 거의 모든 전략에서 높은 채택률을 달성했습니다. 첫 번째 전략만으로도 두 기준에서 각각 67%와 82%의 채택률을 기록하여, 검토 모델이 쉽게 속았음을 보여주었습니다. 모든 전략을 결합하면 채택률은 약간 감소했지만 탐지율은 두 배로 증가했으며, 절반 이상의 검토에서 문제가 제기되었습니다. 첫 번째 전략은 강한 승인률과 중간 수준의 탐지율로 최적의 균형을 제공했으며, 다른 전술들은 효과는 낮았으나 탐지하기 더 어려웠다. ChatGPT-o3 모델이 가장 많은 우려를 표시한 반면, GPT-4.1은 가장 적게 표시했다.

세 가지 검토 모델(GPT-4.1: 빨강, o3: 주황, o4-mini: 파랑)을 사용한 여섯 가지 공격 전략의 점수 분포를 보여줍니다. 각 그래프는 4점에서 9점까지의 점수가 할당된 빈도를 나타내며, 빨간색 점선은 승인 기준점인 7점을 표시합니다.

상기 두 번째 테스트 결과에서, 세 모델의 여섯 가지 설정별 점수 히스토그램은 다양한 분포를 보여줍니다. 평균적으로 o4-mini는 더 높은 점수를 부여했고, o3는 더 넓은 분포와 극단적인 값을 보였으며, GPT-4.1은 일관되게 낮은 점수를 부여했습니다.

모델 및 전략별 우려-수용 충돌: 모델이 무결성 문제를 제기했음에도 합격 점수를 부여한 사례의 비율. 높은 값은 문제 감지와 최종 평가 간의 연관성이 약함을 나타냅니다.

상기 표는 모델들이 무결성 문제를 표시했음에도 높은 점수를 부여하는 경우가 빈번함을 보여줍니다. 이 점에서 o4-mini가 가장 일관성이 없었으며, s1, s3 및 복합 설정에서는 100%, 기타 설정에서는 50~80%의 사례에서 충돌이 발생했습니다. GPT-4.1은 0%(s4)에서 75%(s3)까지 분포했으며, o3는 26%에서 52% 사이로 더 안정적이었습니다. 특히 o4-mini의 경우 s3 환경에서 충돌이 가장 높았으며, 저자들은 탐지 신호와 최종 점수 간 연관성이 취약했다고 지적합니다.

완화 방안

향후 탐지 모델이 이러한 새로운 공격을 방어할 수 있도록 두 가지 방법이 테스트되었습니다. 첫 번째인 '검토-탐지 (ReD) '는 표준 검토에 무결성 검사 단계를 추가하여 모델이 AI 생성 콘텐츠를 표시하고 증거를 제공하도록 했습니다. 이는 무결성 경고율(57%에서 86%로)을 증가시켰지만 승인률도 함께 상승시켜 경고가 최종 점수에 영향을 미치지 않음을 나타냈습니다:

검출 기능이 포함된 검토(ReD)는 기준 대비 무결성 우려율(ICR)과 승인률(ACPT)을 모두 높였습니다. o3은 ReD 하에서 훨씬 더 민감해졌으나, GPT-4.1은 어떠한 문제도 표시하지 못했습니다. 무결성 경고가 추가되었음에도 승인률이 전반적으로 상승한 것은 검출과 점수 부여 간의 연관성이 약함을 시사합니다.

두 번째 방법인 Detection-Only (DetOnly)는 전체 검토를 생략하고 모델에게 논문을 실제 또는 조작된 것으로 분류하도록 요청했습니다. 검출 정확도는 일반적으로 무작위 수준에 가까울 정도로 낮았으나, o3에서는 약간의 개선이 있었습니다:

ReD와 DetOnly의 탐지 결과를 무작위 기준선과 비교. 무작위 대비 정확도 향상은 미미했으나, ReD는 더 보수적이었고 DetOnly는 높은 재현율을 달성했으나 다수의 오탐을 동반했습니다. 모델 o3가 가장 강한 탐지 편향을 보였고, o4-mini는 일관성이 없었으며, GPT-4.1은 거의 아무것도 탐지하지 못했습니다.

전반적으로 ReD는 더 보수적인 것으로 입증되었으며, DetOnly는 더 높은 리콜을 달성했지만 동시에 더 많은 오탐을 발생시켰습니다.

논문은 다음과 같이 결론지었다:

"인공지능만으로 이루어지는 출판 순환은 과학적 인식론을 위협합니다. 조작된 연구가 진정한 연구와 구별되지 않게 된다면, 과학적 지식의 기반이 무너질 위험에 처합니다.

"해결 방안은 기술적(출처 검증, 산출물 검증), 절차적(무결성 기반 평가, 인간 감독), 공동체적(출판 후 검토, 내부 고발 시스템), 문화적(AI 한계 교육, 윤리 지침) 등 다층적 방어 체계를 요구한다.

본 연구는 이러한 실패 모드가 대규모로 발생하기 전에 강력한 방어 체계를 촉진하기 위한 조기 경보 시스템으로 간주됩니다. 연구 결과는 현재 시스템이 AI 단독 연구에 대비되지 않았음을 보여줍니다—과학의 무결성은 AI 역량이 발전함에 따라 엄격한 인간 평가를 유지하는 데 달려 있습니다.”

결론

가까운 미래에 AI 생성 텍스트를 탐지하는 데 있어 가장 큰 과제 중 하나는 표준적인 글쓰기 관행과 AI 생성 콘텐츠의 스타일적 규범이 수렴하는 현상일 수 있습니다. 현재 이러한 규범은 단어 선택이나 문법 패턴과 같은 특징적인 요소들로 정의되고 있습니다.

인간과 AI 언어 스타일이 일반적인 표준으로 통합되면, 출력 분석에만 의존하는 미래의 탐지 방법 구현은 더욱 어려워질 것이다.

또한, LLM이 더 다재다능해지고 구별되는 특징이 덜 두드러지게 되면(아키텍처 개선, 훈련 발전 또는 더 나은 API 수준 필터링을 통해) 더 자연스러운 텍스트를 생성할 것입니다. 이는 인간과 AI 언어가 더 균일한 스타일로 혼합되어 더 많이 수렴할 가능성이 있음을 시사합니다.

이 시점에서 AI 텍스트 감지는 AI 이미지 및 동영상 생성과 동일한 단계에 도달할 수 있습니다. 즉, Adobe가 주도하는 콘텐츠 진위성 이니셔티브(Content Authenticity Initiative)나 블록체인 기반 검증 방법과 같은 2차적 출처 시스템에 의존하게 될 것입니다.

최초 게재일: 2025년 10월 22일 수요일