AI 정신건강 도구가 효과적인 딥페이크 탐지 기술을 우연히 발견하다

기술 대기업 오픈AI가 2025년 9월 주력 제품인 소라 2 영상·음성 생성 모델을 출시하면서 딥페이크 영상이 소셜 미디어를 뒤덮었고, 시청자들은 잠재적으로 유해한 초현실적 콘텐츠에 점점 더 익숙해졌다.

오픈AI는 소라 2의 책임 있는 배포를 핵심 목표로 강조하며 사용자에게 "피드 콘텐츠 관리 도구와 선택권" 및 자신의 초상권에 대한 완전한 통제권을 제공하겠다고 약속했지만, 2025년 10월 연구에 따르면 이 모델은 80%의 시간 동안 오해의 소지가 있는 영상을 생성했습니다.

몰도바 선거 관리관이 투표용지를 파기하는 가짜 뉴스 영상부터 이민 당국에 구금된 유아의 조작 영상, 코카콜라 대변인이 슈퍼볼 스폰서십을 포기한다고 발표하는 영상에 이르기까지, 연결된 세상에서 허위 정보의 위험은 그 어느 때보다 커졌습니다.

소라를 넘어: 비싱의 부상

오픈AI의 도구가 등장하기 전부터 딥페이크 콘텐츠의 제작과 확산은 가속화되고 있었다. 사이버 보안 기업 딥스트라이크(DeepStrike)의 2025년 9월 보고서에 따르면 딥페이크 콘텐츠는 2023년 50만 건에서 2025년 800만 건으로 급증했으며, 상당수가 사기 목적으로 활용되었다.

이 추세는 둔화될 기미를 보이지 않습니다. 미국의 AI 관련 사기 피해액은 2027년까지 400억 달러에 달할 것으로 예상됩니다.

증가는 단순히 양적 측면에만 국한되지 않는다. 소라 2(Sora 2)와 구글의 비오 3(Veo 3) 같은 도구 덕분에 AI가 생성한 얼굴, 목소리, 전신 연기는 그 어느 때보다도 설득력 있게 보인다. 컴퓨터 과학자이자 딥페이크 전문가인 류시웨이(Siwei Lyu)가 지적했듯이, 현재 모델들은 안정적이고 왜곡 없는 얼굴을 생성할 수 있으며, 음성 복제는 "구분할 수 없는" 수준에 도달했다.

현실은 딥페이크가 탐지 기술보다 더 빠르게 진화하고 있다는 점이다. 기술 기업들이 올림픽 체조 루틴 제작이나 풍부한 오디오 배경 생성용 엔터테인먼트 도구로 마케팅하는 기술이 기업과 개인을 노리는 범죄자들에게 악용되고 있다. 2025년 상반기만 해도 딥페이크 사기로 인한 기업 손실은 3억 5600만 달러, 개인 손실은 5억 4100만 달러에 달했다.

워터마크, 에어브러시 처리된 얼굴, 메타데이터 확인 등 기존 딥페이크 탐지 기술은 한계에 부딪혔다. 한편 음성 딥페이크는 AI 기반 사기 중 두 번째로 흔한 유형으로, 2025년 음성 피싱(보이스 피싱) 공격이 442% 급증하며 광범위한 영향을 미쳤다.

류 박사는 "이제 단 몇 초의 오디오만으로도 자연스러운 억양, 리듬, 강조, 감정, 멈춤, 심지어 호흡 소리까지 완벽하게 재현된 믿을 만한 복제본을 만들 수 있다"고 말했다.

인간의 목소리를 듣다

헬스테크 스타트업 킨츠기(Kintsugi)는 임상적 우울증과 불안 증상을 식별하는 AI 음성 바이오마커 기술을 개발합니다. 그들의 작업은 단순한 아이디어에서 시작되었습니다: 우리는 사람들을 진정으로 경청해야 한다는 것입니다.

"저는 개인적인 경험을 바탕으로 킨츠기를 설립했습니다. 첫 치료 예약을 잡기 위해 의료기관에 거의 5개월 동안 전화를 걸었지만 아무도 연락하지 않았습니다. 계속 시도했지만, 만약 이 상황이 아버지나 형제였다면 훨씬 일찍 포기했을 거라는 생각이 들었습니다."라고 CEO 그레이스 창은 Unite.AI와의 인터뷰에서 말했습니다.

캘리포니아에 본사를 둔 이 회사는 2019년 창이 "트라이아지 병목 현상"이라 부른 문제를 해결하기 위해 출범했습니다. 그녀는 중증도를 조기에 수동적으로 감지하는 것이 사람들을 적절한 치료로 더 빨리 안내하는 데 도움이 될 것이라고 믿었습니다. 킨츠기 보이스(Kintsugi Voice)를 통해 음성 바이오마커가 임상적 우울증과 불안을 식별하는 데 도움을 줍니다.

정신 건강 바이오마커로서 AI 기반 음성 분석 활용은 다수 연구에서 입증됐다. 예를 들어 2025년 5월 발표된 한 논문은 음향 바이오마커가 정신 건강 문제와 신경다양성의 초기 징후를 포착할 수 있음을 보여주었으며, 인지 기능 저하 가능성 평가를 위해 임상 현장에서 노래 분석을 활용할 것을 제안했다.

미국 정신의학회(APA)에 따르면 음성 분석은 우울증 환자와 비환자를 78%에서 96%의 정확도로 구분한다. 또 다른 연구는 1분간 언어 유창성 검사(특정 범주에서 가능한 한 많은 단어를 말하는 테스트)를 활용해 동반된 우울증과 불안을 70%에서 83%의 정확도로 탐지했다.

정신 건강 평가를 위해 킨츠기는 간단한 음성 샘플을 수집한다. 이후 음성 생체표지 기술이 음높이, 억양, 어조, 말썽 등 우울증, 불안, 양극성 장애, 치매와 연관된 특징들을 분석한다.

창이 예상하지 못한 것은 이 기술이 보안 분야의 중대한 과제인 '진정한 인간의 목소리를 구분하는 요소'를 규명하는 데도 적용될 수 있다는 점이었습니다.

정신 건강에서 사이버 보안으로

2025년 말 뉴욕에서 열린 한 정상회담에서 창은 사이버 보안 분야에 종사하는 친구에게 자신의 팀이 합성 음성으로 진행한 테스트 결과가 기대에 못 미쳤다고 언급했습니다.

"정신 건강 모델 훈련을 강화하기 위해 합성 데이터를 시도했지만, 생성된 목소리가 실제 인간 말투와 너무 달라 거의 매번 식별할 수 있었어요"라고 그녀는 설명했다.

"그가 제 말을 끊으며 '그레이스, 그건 보안 분야에서 아직 해결되지 않은 문제야'라고 말했어요. 그때 모든 것이 연결됐죠. 그 이후 보안, 금융, 통신 기업들과의 논의에서 딥페이크 음성 공격이 얼마나 빠르게 확산되고 있는지, 실시간 통화에서 인간 목소리와 합성 목소리를 구분하는 것이 얼마나 중요한지 부각됐습니다"라고 CEO는 덧붙였다.

지난해 4월, FBI는 미국 고위 공직자를 사칭해 전직 공무원과 그 연락처를 표적으로 삼는 악성 문자 및 음성 캠페인을 대중에게 경고했다. 주요 미국 은행들은 하루 평균 5.5건의 음성 사기 시도를 겪었으며, 밴더빌트 대학 의료 센터 직원들은 친구, 상사, 동료로 위장한 사기꾼들의 보이스 피싱 공격을 신고했다.

초기에는 딥페이크가 킨츠기의 주요 관심사가 아니었다. 팀은 콜센터 상담원과 워크플로우를 위한 합성 음성 시뮬레이션에 카르테시아, 세서미, 일레븐랩스 같은 모델을 사용했지만, 소라 같은 접근 가능한 도구가 넘쳐나는 시장에서 딥페이크 사기는 우선순위가 아니었다.

그러나 음성 진위 여부를 확인하는 단서는 인간 발화를 정의하는 생체 지표와 동일하다. 킨츠기 보이스는 언어나 의미와 무관하게 신호 처리와 물리적 발화 지연을 분석해 미묘한 타이밍, 운율 변이, 인지 부하, 생리적 특성을 포착한다. 즉, 발화 내용보다 발화 과정에 집중하는 것이다.

"합성 음성은 유창하게 들릴 수 있지만, 동일한 생물학적·인지적 미묘함을 결여하고 있습니다"라고 창은 지적했다. 해당 기업 모델은 탐지 정확도 상위 10%에 속하며, 단 3~5초의 오디오만으로도 식별이 가능하다.

킨츠기의 혁신은 특히 전문 치료 접근이 어려운 환경에서 정신 건강 문제를 겪는 이들에게 희망을 제시합니다. 마찬가지로, 이 기술은 딥페이크를 탐지하기보다 진위 여부를 검증함으로써 딥페이크 탐지 및 사이버보안 분야를 혁신할 수 있습니다.

미래를 위한 인간 중심 기술

사이버 보안은 전통적으로 악의적인 사용이나 가해자에 집중해왔다. 그러나 킨츠기의 예상치 못한 돌파구는 인간 본성 자체에 의존한다.

"우리는 완전히 다른 전선, 즉 인간의 진정성을 연구하고 있습니다. 대규모 언어 모델(LLM)은 LLM 생성 콘텐츠를 일관되게 식별하지 못하며, 인공물 기반 기법은 취약합니다. 진정한 인간 변이를 포착하는 대규모 임상 주석 데이터셋을 수집하는 것은 비용이 많이 들고 느리며, 대부분의 보안 기업의 전문성을 넘어섭니다. 이로 인해 우리 방법을 모방하기 어렵습니다."라고 창은 설명했습니다.

이 스타트업의 전략은 더 넓은 변화, 즉 산업 간 혁신을 가리키기도 합니다. 의료 분야 리더들은 AI 기반 보이스 피싱 탐지를 선도할 수 있으며, 우주 기술 혁신가들은 비상 대응 시스템을 지원할 수 있고, 게임 아키텍처는 도시 계획에 영향을 미칠 수 있습니다.

창은 음성 상호작용을 통해 실제 인간 존재를 확인하는 기준을 세우고 궁극적으로 진정한 의도까지 검증하는 것을 목표로 한다.

"HTTPS가 웹의 신뢰 기준으로 자리 잡은 것처럼, '인간 증명(proof of human)'이 음성 기반 시스템에 필수 요소가 될 것이라고 믿습니다. 신호 처리는 그 프레임워크의 시작점입니다,"라고 그녀는 말했다.

생성형 AI가 발전함에 따라, 진정한 인간성을 이해하는 것이 가장 강력한 보호 장치가 될 수 있다.