연구 결과, 가짜 웹페이지 단 하나만으로도 AI 쇼핑 봇을 속일 수 있는 것으로 밝혀졌다

우리는 검색 기능이 강화된 LLM 파이프라인을 구축했습니다. 두 체인 모두 ‘쿼리 → 실시간 웹 검색 → 검색 결과 → LLM → 추천’이라는 동일한 구조를 따르며, 가짜 콘텐츠 삽입 시점만 다릅니다. 실제 GEO 시나리오(위)에서는 운영자가 실시간 웹의 상류 단계에 가짜 콘텐츠를 삽입합니다. 우리의 시뮬레이션(하단)에서는 윤리적 고려 사항으로 인해, 실시간 웹을 오염시키는 대신 검색 결과의 일부를 로컬에서 재작성합니다. 출처: arXiv (2026). DOI: 10.48550/arxiv.2606.13610

AI 쇼핑 어시스턴트가 인터넷 전반에 확산되면서, 우리가 상품을 검색하고, 비교하며, 발견하는 방식이 변화하고 있습니다. 그러나 이러한 유용한 도구들에는 심각한 보안 결함이 숨어 있습니다. arXiv 프리프린트 서버에 게재된 논문에 따르면, 조작된 웹 페이지 하나만으로도 AI 어시스턴트를 속여, 의심하지 않는 고객들에게 가짜 상품을 추천하게 만들 수 있습니다.

온라인상에서 위조 상품과 가짜 리뷰가 만연함에 따라, 연구원 루오 밍하오(Minghao Luo)와 첸 리앙(Liang Chen)은 검색 기능을 강화한 AI 시스템이 얼마나 쉽게 오도되어 가짜 브랜드를 추천하게 되는지 테스트하기 시작했다.

AI 테스트 환경

연구진은 앤트로픽(Anthropic), 구글(Google), 오픈AI(OpenAI)의 모델을 포함한 12가지 주요 AI 모델을 테스트하기 위해 FORGE(Fake Online Recommendations in Generative Environments)라는 시뮬레이션 도구를 개발했습니다. 이를 통해 실제 웹 페이지에 영향을 주지 않고 웹 콘텐츠의 오염 정도를 평가할 수 있었습니다.

연구진은 온라인에서 쇼핑 추천을 검색할 때 상위에 노출되는 실제 검색 결과를 활용해, 선정된 페이지에서 주로 언급된 브랜드를 식별한 뒤 이를 가짜 브랜드로 대체했다. 이 작업은 의류, 건강 보조제, 디지털 전자제품 등 15개 카테고리에 걸친 225개 제품에 대해 수행되었다.

이 페이지들을 재작성한 후, 연구진은 대규모 언어 모델(LLM)이 속아 가짜 브랜드를 추천 목록에 포함시킬지 여부를 테스트했습니다.

그 결과는 명백한 ‘예’였습니다.

루오와 첸은 논문에서 “상업용 및 오픈-웨이트 LLM 12개를 대상으로 한 결과, 모든 모델이 취약한 것으로 나타났다. 오염된 페이지가 단 하나만 있어도 속임에 넘어가는 비율은 최대 27%에 달했으며, 상위 3개 결과를 모두 조작했을 때는 이 비율이 73.8%까지 치솟았다”고 밝혔다.

즉, 가짜 페이지 단 하나만으로도 특정 AI를 4분의 1 이상의 확률로 속일 수 있었습니다. 그리고 상위 3개 검색 결과를 조작했을 때, 모델들은 거의 4분의 3의 확률로 이 사기에 속아 넘어갔습니다.

어떤 경우에는 모델들이 더 나아가, 가짜 브랜드에 대해 온라인 커뮤니티에서 인기가 많다는 식의 긍정적인 댓글을 조작하기도 했다.

방어책 테스트

연구진은 또한 AI가 가짜 웹 콘텐츠에 속지 않도록 막을 수 있는지 확인하기 위해 세 가지 방어 기법을 테스트했다. 이 방어책들은 다음과 같습니다. 챗봇이 읽은 내용을 극도로 의심하도록 지시하는 ‘회의적 태도(skepticism)’, AI가 추천 내용을 자체 기억과 대조하여 확인하도록 강제하는 ‘모델 사전 합의(model-prior consensus)’, 그리고 AI가 특정 브랜드를 신뢰하기 전에 여러 웹사이트에서 동일한 브랜드를 찾아내도록 요구하는 ‘문서 간 일치 확인(cross-document agreement)’입니다.

루오와 첸이 논문에서 지적했듯이, 이 세 가지 방법 모두 실패했거나 새로운 문제를 야기했다. “단순한 방어책만으로는 부족하다. 회의적 태도를 유도하는 방식은 역효과를 낼 수 있으며, 합의 기반 필터링은 수많은 합법적인 추천을 억압함으로써만 가짜 브랜드를 걸러낼 뿐이다.”

그렇다면 해결책은 무엇일까요? 연구진은 이 해결책이 챗봇 수준에서만 적용될 수는 없다고 주장합니다. 대신, 검색 기능을 강화한 AI 시스템은 웹 콘텐츠를 제품 추천으로 변환하기 전에 그 신뢰성을 검증할 수 있는 더 강력한 안전장치가 필요합니다.

이 기사는 필자 폴 아놀드(Paul Arnold)가 집필하고, 개비 클라크(Gaby Clark)가 편집했으며, 로버트 이건(Robert Egan)이 사실 확인과 검토를 거쳤습니다. 이는 신중한 인간적 작업의 결과물입니다. 저희는 독립적인 과학 저널리즘을 유지하기 위해 여러분과 같은 독자분들의 후원에 의존하고 있습니다. 이 보도가 여러분께 중요하다고 생각하신다면, 기부(특히 월간 기부)를 고려해 주시기 바랍니다. 감사의 뜻으로 광고가 없는 계정을 제공해 드립니다.