오픈 소스 개발자는 독창성과 보복으로 AI 크롤러 전투

AI 웹 크롤링 봇은 많은 소프트웨어 개발자들에 따르면 인터넷의 골칫거리가 되고 있다. 이에 대응하여 일부 개발자들은 창의적이고 종종 재미있는 전략으로 맞서 싸우고 있다.

오픈 소스 개발자들은 이러한 악성 봇에 특히 큰 타격을 받고 있다. 이는 Linux 데스크톱 Plasma와 블로그 LibreNews의 개발자인 Niccolò Venerandi가 지적한 바와 같다. 무료 및 오픈 소스 프로젝트를 호스팅하는 FOSS 사이트는 더 많은 인프라를 노출하며, 상업 사이트보다 자원이 일반적으로 적다.

문제는 많은 AI 봇이 Robots Exclusion Protocol의 robot.txt 파일을 무시하기 때문에 더욱 악화된다. 이 파일은 봇이 크롤링하지 말아야 할 내용을 지시하는 데 사용된다.

1월에 작성된 감동적인 블로그 포스트에서 FOSS 개발자 Xe Iaso는 AmazonBot과의 괴로운 경험을 공유했다. 이 봇은 Git 서버 웹사이트를 공격하여 DDoS 장애를 일으켰다. Git 서버는 FOSS 프로젝트를 호스팅하는 데 중요하며, 누구나 코드를 다운로드하고 기여할 수 있게 한다.

Iaso는 이 봇이 robot.txt 파일을 무시하고, 다른 IP 주소를 사용하며, 심지어 다른 사용자로 위장했다고 지적했다. "AI 크롤러 봇을 차단하는 것은 무의미하다. 그들은 거짓말하고, 사용자 에이전트를 변경하며, 주거용 IP 주소를 프록시로 사용하고, 그 이상을 한다"고 Iaso는 한탄했다.

"그들은 당신의 사이트가 다운될 때까지 스크래핑하고, 그 후에도 더 스크래핑한다. 그들은 모든 링크의 모든 링크의 모든 링크를 클릭하며, 같은 페이지를 반복해서 계속해서 본다. 일부는 심지어 같은 링크를 같은 초 안에 여러 번 클릭한다"고 개발자는 썼다.

무덤의 신 등장

이에 대응하기 위해 Iaso는 Anubis라는 영리한 도구를 개발했다. 이는 요청이 Git 서버에 도달하기 전에 작업 증명 검사를 요구하는 역방향 프록시 역할을 한다. 이는 봇을 효과적으로 차단하면서 사람이 운영하는 브라우저는 통과시킨다.

이 도구의 이름 Anubis는 이집트 신화에서 죽은 자를 심판으로 인도하는 신에서 따왔다. "Anubis는 당신의 영혼(심장)을 저울에 달아 깃털보다 무거우면 심장이 먹히고, 당신은, 완전히 죽는다"고 Iaso는 TechCrunch에 설명했다. 챌린지를 성공적으로 통과하면 귀여운 Anubis 애니메이션 그림으로 축하받으며, 봇 요청은 거부된다.

3월 19일 GitHub에 공유된 이 프로젝트는 며칠 만에 2,000개의 스타, 20명의 기여자, 39개의 포크를 얻으며 빠르게 주목받았다.

방어로서의 복수

Anubis의 광범위한 채택은 Iaso의 고군분투가 결코 단독 사례가 아님을 보여준다. Venerandi는 유사한 경험을 여러 번 언급했다:

• SourceHut의 창립자이자 CEO인 Drew DeVault는 공격적인 LLM 크롤러를 처리하는 데 상당한 시간을 보내고 있으며, 빈번한 장애를 겪는다.
• 저명한 FOSS 개발자이자 LWN 운영자인 Jonathan Corbet은 AI 스크래퍼 봇으로 인해 사이트 속도가 느려지는 것을 경험했다.
• Linux Fedora 프로젝트의 시스템 관리자인 Kevin Fenzi는 공격적인 AI 봇 활동으로 인해 브라질에서 오는 모든 트래픽을 차단해야 했다.

Venerandi는 TechCrunch에 다른 프로젝트들이 중국 IP 주소를 모두 차단하는 극단적인 조치를 취해야 했다고 전했다.

일부 개발자들은 복수로 맞서 싸우는 것이 최선의 방어라고 믿는다. Hacker News의 사용자 xyzal은 robot.txt 금지 페이지에 표백제 음용의 이점이나 홍역이 침실 성능에 미치는 긍정적인 효과에 대한 오도된 콘텐츠를 채우자고 제안했다.

"우리는 봇이 우리의 함정을 방문했을 때 _부정적인_ 유틸리티 가치를 얻도록 해야 한다. 단순히 제로 값이 아니라"라고 xyzal은 설명했다.

1월에 익명의 개발자 "Aaron"은 크롤러를 가짜 콘텐츠 미로에 가두는 도구 Nepenthes를 출시했다. 이는 제작자가 Ars Technica에 공격적이며, 심지어 악의적이라고 인정한 바 있다. 육식 식물의 이름을 딴 Nepenthes는 부정 행위 봇의 자원을 혼란시키고 낭비하는 것을 목표로 한다.

마찬가지로 Cloudflare는 최근 AI Labyrinth를 출시했으며, 이는 "크롤링 금지" 지시를 무시하는 AI 크롤러를 느리게 하고, 혼란시키며, 자원을 낭비하도록 설계되었다. 이 도구는 이러한 봇에게 무관한 콘텐츠를 제공하여 합법적인 웹사이트 데이터를 보호한다.

SourceHut의 DeVault는 TechCrunch에 Nepenthes가 크롤러에게 터무니없는 데이터를 제공함으로써 정의감을 주지만, Anubis가 그의 사이트에 더 효과적인 솔루션임을 입증했다고 전했다. 하지만 그는 또한 진심 어린 호소를 했다: "제발 LLM이나 AI 이미지 생성기, GitHub Copilot, 또는 이런 쓰레기를 정당화하는 것을 멈춰주세요. 제발 사용을 멈추고, 얘기하지 말고, 새로 만들지 말고, 그냥 멈춰주세요."

이런 일이 일어날 가능성이 낮은 상황에서, 특히 FOSS 커뮤니티의 개발자들은 독창성과 약간의 유머로 계속 싸워나간다.