AI 크롤러 서지 Wikimedia Commons 대역폭 수요 50%

Wikipedia의 부모 기관인 Wikimedia Foundation은 2024 년 1 월 이후 Wikimedia Commons의 멀티미디어 다운로드에 대한 50%의 대역폭 사용에 대한 50% 증가한 50%의 증가를 발표했습니다. 화요일에 블로그 게시물에 자세히 설명 된이 서지는 인간의 인간 모델에 대한 untick에 의해 구동되는 것은 아니지만,이 서지는 인간의 인간적 인기를 얻지 못했습니다.

“우리의 인프라는 주요 행사 중에 인간의 갑작스런 트래픽이 급증하도록 설계되었지만 스크레이퍼 봇의 트래픽 양은 타의 추종을 불허하며 위험과 비용이 증가하고 있습니다.

Wikimedia Commons는 이미지, 비디오 및 오디오 파일을위한 자유롭게 액세스 할 수있는 허브 역할을하며 모든 공개 라이센스 또는 공개 도메인에서 사용할 수 있습니다.

Wikimedia는 더 깊이 파고 들었습니다. Wikimedia는 가장 자원 집약적 인 트래픽의 65% (소비 된 컨텐츠 유형에 따라 발생하는)가 봇에서 생성되는 것으로 밝혀졌습니다. 그러나이 봇은 전체 페이지 뷰의 35%에 불과합니다. Wikimedia에 따르면 불일치는 컨텐츠에 대한 자주 액세스가 사용자에게 가까워지는 방식에서 비롯된 반면, 봇이 자주 목표로하는 덜 인기있는 콘텐츠는 더 많은 비용이 많이 드는 "핵심 데이터 센터"에 저장됩니다.

Wikimedia는“인간 독자들은 구체적이고 종종 유사한 주제에 초점을 맞추는 경향이 있지만 크롤러 봇은 더 많은 수의 페이지를 읽고 덜 인기있는 페이지를 방문하는 경향이 있습니다. "이로 인해 이러한 요청이 핵심 데이터 센터로 전달되어 자원 소비 비용이 크게 증가합니다."

결과적으로 Wikimedia Foundation의 사이트 안정성 팀은 일상적인 사용자의 혼란을 방지하기 위해 이러한 크롤러를 차단하는 데 상당한 시간과 리소스를 바치고 있습니다. 이것은 기초가 대적하는 에스컬링 클라우드 비용에 대해서도 다루지 않습니다.

이 시나리오는 개방형 인터넷을 위험에 빠뜨리는 광범위한 트렌드의 일부입니다. 지난달 소프트웨어 엔지니어이자 오픈 소스 옹호자 인 Drew Devault는 AI Crawlers가 자동 트래픽을 방해하기위한 "robots.txt"파일을 무시하고 있다고 애도했습니다. 마찬가지로, "실용적인 엔지니어"로 알려진 Gergely Orosz는 최근 Meta와 같은 회사의 AI 스크레이퍼가 그의 프로젝트에 대한 대역폭 요구를 어떻게 급증했는지에 대한 좌절감을 표명했습니다.

오픈 소스 인프라는 특히 취약하지만 개발자는 독창성과 결단력으로 대응하고 있습니다. TechCrunch는 지난주에 일부 기술 회사가 강화되고 있다고 강조했습니다. 예를 들어, CloudFlare는 AI 생성 컨텐츠로 크롤러 속도를 늦추도록 설계된 AI Labyrinth를 소개했습니다.

그러나 그것은 고양이와 마우스의 끊임없는 게임으로 남아 있는데,이 게임은 많은 출판사들이 로그인과 페이 월 뒤에서 후퇴하도록 밀어내어 궁극적으로 우리 모두가 의존하는 웹의 열린 특성에 해를 끼칠 수 있습니다.