클라우드플레어, 차단된 웹사이트를 몰래 크롤링하기 위해 AI 봇을 사용하는 당혹스러움을 고발하다

웹사이트 제한을 우회한 혐의로 기소된 AI 스타트업

Cloudflare의 최근 조사에 따르면 AI 검색 회사인 Perplexity가 웹사이트 소유자가 구현한 크롤링 제한을 우회하는 전술을 사용해 왔다고 합니다. 이 인터넷 인프라 제공업체는 Perplexity의 웹 크롤러가 액세스 장벽에 직면했을 때 이를 위장하려는 조직적인 시도를 관찰했다고 보고했습니다.

우회 전술

Cloudflare의 조사 결과에 따르면, Perplexity의 크롤러는 처음에 표준 식별("PerplexityBot" 또는 "Perplexity-User")을 제시합니다. 그러나 차단된 경우

• robots.txt 지시어
• 웹 애플리케이션 방화벽 규칙
• 기타 액세스 제한

이 시스템은 다음을 활용하여 macOS에서 일반 Chrome 브라우저 사용자로 신분을 숨기는 것으로 추정됩니다:

• 공식적으로 나열되지 않은 IP 주소 순환
• 자율 시스템 네트워크 식별자 변경
• 문서화되지 않은 사용자 에이전트 패턴

활동 규모

Cloudflare는 이러한 행동을 문서화합니다:

• 수만 개의 도메인
• 매일 수백만 건의 요청
• 다양한 네트워크 구성

회사 대응

Perplexity의 공식 성명은 다음과 같이 설명하며 Cloudflare의 특징에 이의를 제기합니다:

• "홍보용 스턴트"
• "많은 오해" 포함
• 합법적인 사용자 트래픽과 스크래핑 활동을 혼동할 가능성이 있음

스타트업은 감지된 일부 활동의 원인을 다음과 같이 설명합니다:

• 실제 사용자가 특정 요청을 하는 경우
• 타사 서비스 브라우저베이스
• 때때로 기술적 필요성

업계 상황

이번 사건은 다음과 같습니다:

• 퍼플렉시티의 페이월 우회에 대한 이전 보고서
• 타사 크롤러에 대한 퍼플렉시티의 과거 기록
• AI 콘텐츠 스크래핑에 대한 업계의 우려 증가

Cloudflare는 다음과 같은 조치를 취했습니다:

• Perplexity의 확인된 봇 상태 제거
• 새로운 차단 조치 구현
• 기본 AI 크롤러 제한 확대

이 상황은 광범위한 긴장을 반영합니다:

• AI 기업의 데이터 요구
• 퍼블리셔의 권리 및 보호
• 진화하는 인터넷 인프라 대응