오픈 소스 개발자는 독창성과 보복으로 AI 크롤러 전투

많은 소프트웨어 개발자들에 따르면 AI 웹 크롤링 봇은 인터넷의 금지가되었습니다. 이에 따라 일부 개발자들은 창의적이고 종종 재미있는 전략과 싸우는 데 걸렸습니다.

오픈 소스 개발자들은 Linux Desktop Plasma의 개발자 및 Blog Librenews의 개발자 인 Niccolò Venerandi가 언급 한 것처럼 이러한 불량 봇에 의해 특히 강력합니다. 무료 및 오픈 소스 프로젝트를 호스팅하는 Foss Sitees는 더 많은 인프라를 노출시키고 일반적으로 상용 사이트보다 자원이 적습니다.

많은 AI 봇이 로봇 제외 프로토콜의 robot.txt 파일을 무시하기 때문에 문제가 악화됩니다.

1 월의 강력한 블로그 게시물에서 Foss 개발자 XE IASO는 AmazonBot과 고통스러운 경험을 공유하여 GIT 서버 웹 사이트를 폭격하여 DDOS 중단을 일으켰습니다. GIT 서버는 FOSS 프로젝트를 호스팅하는 데 중요하므로 누구나 코드를 다운로드하고 기여할 수 있습니다.

IASO는 BOT가 Robot.txt 파일을 무시하고 다른 IP 주소를 사용했으며 다른 사용자와 마치 가장했다고 지적했습니다. "AI 크롤러 봇이 거짓말을하고, 사용자 에이전트를 변경하고, 주거 IP 주소를 프록시로 사용하는 등을 차단하는 것은 쓸모가 없습니다."

"그들은 당신의 사이트가 넘어 질 때까지 당신의 사이트를 긁어 내고, 더 많은 것을 긁어냅니다. 그들은 모든 링크의 모든 링크의 모든 링크를 클릭하여 동일한 페이지를 반복해서 반복해서 볼 것입니다. 일부는 같은 두 번째 링크를 여러 번 클릭 할 것"이라고 개발자는 썼습니다.

그레이브스의 신에 들어가십시오

이것을 싸우기 위해 Iaso는 Anubis라는 영리한 도구를 개발했습니다. 요청이 GIT 서버에 도달하기 전에 작업 증명 점검이 필요한 역전 프록시 역할을합니다. 이것은 효과적으로 봇을 차단하면서 사람이 운영하는 브라우저가 통과 할 수 있도록합니다.

이 도구의 이름 인 Anubis는 이집트 신화에서 유래합니다. 여기서 Anubis는 죽은자를 심판으로 이끄는 신입니다. "Anubis는 당신의 영혼 (마음)을 무게를 was 다. 그리고 그것이 깃털보다 무겁다면, 당신의 마음이 먹었고, 당신은 Mega가 죽었다"고 Iaso는 TechCrunch에 설명했다. 봇 요청이 거부되는 동안 아누비스의 귀여운 애니메이션 사진으로 도전을 성공적으로 전달하는 것은 축하됩니다.

3 월 19 일에 Github에서 공유 된이 프로젝트는 며칠 만에 2,000 개의 별, 20 명의 기고자 및 39 개의 포크를 축적하여 트랙션을 신속하게 얻었습니다.

방어로서 복수

Anubis의 광범위한 채택은 Iaso의 투쟁이 고립 된 것과는 거리가 멀다는 것을 나타냅니다. Venerandi는 수많은 비슷한 경험을 이야기했습니다.

• SourceHut의 창립자이자 CEO 인 Drew Devault는 공격적인 LLM 크롤러를 다루는 데 시간의 상당 부분을 보냈으며 빈번한 중단을 겪고 있습니다.
• LWN의 저명한 Foss 개발자이자 운영자 인 Jonathan Corbet은 AI Scraper Bots에 의해 그의 사이트가 느려지는 것을 보았습니다.
• Linux Fedora 프로젝트의 Sysadmin 인 Kevin Fenzi는 공격적인 AI BOT 활동으로 인해 브라질에서 모든 트래픽을 차단해야했습니다.

Venerandi는 TechCrunch에게 모든 중국 IP 주소를 금지하는 것과 같은 극단적 인 조치에 의존 해야하는 다른 프로젝트에 대해 알고 있다고 언급했습니다.

일부 개발자들은 복수와의 싸움이 최고의 방어라고 생각합니다. Hacker News에서 Xyzal이라는 사용자는 표백제를 마시는 이점 또는 침실 성능에 대한 홍역의 긍정적 인 영향에 대한 오해의 소지가있는 내용으로 Robot.txt Forbidden 페이지를 채우는 것을 제안했습니다.

Xyzal은“봇이 _Negative_ 유틸리티 값을 제로 값이 아니라 트랩을 방문하여 얻을 수 있도록 목표로 삼아야한다고 생각한다.

1 월에 "Aaron"이라는 익명의 개발자는 Nepenthes를 발표했습니다. Nepenthes는 가짜 콘텐츠의 미로에서 크롤러를 덫을 놓도록 설계된 도구를 발표했습니다. 육식 식물의 이름을 따서 명명 된 Nepenthes는 잘못 행동하는 봇의 자원을 혼동하고 낭비하는 것을 목표로합니다.

마찬가지로 Cloudflare는 최근 AI Labyrinth를 출시하여 "크롤링 없음"지침을 무시하는 AI 크롤러의 자원을 늦추고 혼동하고 낭비하려고했습니다. 이 도구는 합법적 인 웹 사이트 데이터를 보호하기 위해 이러한 봇과 관련이없는 콘텐츠를 공급합니다.

Sourcehut의 Devault는 TechCrunch에 Nepenthes가 크롤러에게 말도 안되는 공급함으로써 정의의 감각을 제공하지만 Anubis는 그의 사이트에 더 효과적인 솔루션으로 입증되었습니다. 그러나 그는 또한보다 직접적인 해결책을 위해 진심 어린 호소를 만들었습니다. "LLM 또는 AI 이미지 생성기 또는 Github Copilot 또는이 쓰레기를 합법화하는 것을 중지하십시오. 나는 당신에게 그것들을 사용하지 말고, 그들에 대해 이야기하지 말고, 새로운 것을 멈추지 말고, 그냥 멈추십시오."

이런 일이 일어날 가능성이 높아짐에 따라 개발자, 특히 Foss 커뮤니티에서는 독창성과 유머로 계속 싸우고 있습니다.