옵션
뉴스
클라우드플레어, 차단된 웹사이트를 몰래 크롤링하기 위해 AI 봇을 사용하는 당혹스러움을 고발하다

클라우드플레어, 차단된 웹사이트를 몰래 크롤링하기 위해 AI 봇을 사용하는 당혹스러움을 고발하다

2025년 10월 23일
120

클라우드플레어, 차단된 웹사이트를 몰래 크롤링하기 위해 AI 봇을 사용하는 당혹스러움을 고발하다

웹사이트 제한을 우회한 혐의로 기소된 AI 스타트업

Cloudflare의 최근 조사에 따르면 AI 검색 회사인 Perplexity가 웹사이트 소유자가 구현한 크롤링 제한을 우회하는 전술을 사용해 왔다고 합니다. 이 인터넷 인프라 제공업체는 Perplexity의 웹 크롤러가 액세스 장벽에 직면했을 때 이를 위장하려는 조직적인 시도를 관찰했다고 보고했습니다.

우회 전술

Cloudflare의 조사 결과에 따르면, Perplexity의 크롤러는 처음에 표준 식별("PerplexityBot" 또는 "Perplexity-User")을 제시합니다. 그러나 차단된 경우

  • robots.txt 지시어
  • 웹 애플리케이션 방화벽 규칙
  • 기타 액세스 제한

이 시스템은 다음을 활용하여 macOS에서 일반 Chrome 브라우저 사용자로 신분을 숨기는 것으로 추정됩니다:

  • 공식적으로 나열되지 않은 IP 주소 순환
  • 자율 시스템 네트워크 식별자 변경
  • 문서화되지 않은 사용자 에이전트 패턴

활동 규모

Cloudflare는 이러한 행동을 문서화합니다:

  • 수만 개의 도메인
  • 매일 수백만 건의 요청
  • 다양한 네트워크 구성

회사 대응

Perplexity의 공식 성명은 다음과 같이 설명하며 Cloudflare의 특징에 이의를 제기합니다:

  • "홍보용 스턴트"
  • "많은 오해" 포함
  • 합법적인 사용자 트래픽과 스크래핑 활동을 혼동할 가능성이 있음

스타트업은 감지된 일부 활동의 원인을 다음과 같이 설명합니다:

  • 실제 사용자가 특정 요청을 하는 경우
  • 타사 서비스 브라우저베이스
  • 때때로 기술적 필요성

업계 상황

이번 사건은 다음과 같습니다:

  • 퍼플렉시티의 페이월 우회에 대한 이전 보고서
  • 타사 크롤러에 대한 퍼플렉시티의 과거 기록
  • AI 콘텐츠 스크래핑에 대한 업계의 우려 증가

Cloudflare는 다음과 같은 조치를 취했습니다:

  • Perplexity의 확인된 봇 상태 제거
  • 새로운 차단 조치 구현
  • 기본 AI 크롤러 제한 확대

이 상황은 광범위한 긴장을 반영합니다:

  • AI 기업의 데이터 요구
  • 퍼블리셔의 권리 및 보호
  • 진화하는 인터넷 인프라 대응
관련 기사
워너 뮤직이 AI 귀속 스타트업 서룰 AI를 인수하다 워너 뮤직이 AI 귀속 스타트업 서룰 AI를 인수하다 워너 뮤직 그룹(WMG)은 수요일 Sureel AI라는 인공지능 속성 추적 스타트업을 인수한다고 확인했다. Sureel의 독점 기술은 음악 트랙에 대한 ‘AI DNA’를 생성하며, 이를 구성 요소로 분해하여 AI 모델이 이러한 요소를 어떻게 활용하는지 추적한다.이번 인수를 통해 WMG는 아티스트와 작곡가의 작품이 AI 생성 콘텐츠에서 어떻게 활용되거나 AI 모델 학습에 사용되는지를 모니터링하는 능력을 강화할 계획이다.“Sureel을 WMG에
아마존은 쇼핑용 알렉사를 출시하면서 루푸스를 후순위로 밀어붙이고 있다 아마존은 쇼핑용 알렉사를 출시하면서 루푸스를 후순위로 밀어붙이고 있다 아마존은 Alexa for Shopping을 출시하며, Rufus 쇼핑 챗봇과 Alexa+를 앱, 웹사이트 및 Echo Show 기기 전반에 걸쳐 통합했습니다.이 도우미는 제품 문의에 답변하고, 상품을 비교하며, 가격을 추적하고, 쇼핑 알림을 지원합니다. 또한 예약된 쇼핑 작업과 자격이 있는 자동 구매도 처리합니다.회사에 따르면, Alexa for Shopping은 Rufus의 제품 전문성과 Alexa+의 개인화된 도우미 컨텍스트를 결합합니
마이크로소프트, 애저, AI 기술이 캘리포니아 산불 위험에 맞서다 마이크로소프트, 애저, AI 기술이 캘리포니아 산불 위험에 맞서다 마이크로소프트는 AI 기반 산불 탐지 기술에 투자하고 있으며, CVP 겸 수석 데이터 과학자인 후안 라비스타 페레스가 환경 피해 완화 전략을 논의하고 있다.NASA에 따르면, 기후 변화는 지구상의 모든 사람에게 영향을 미치며, 기온 상승, 강수 패턴의 변화, 해수면 상승 등의 형태로 나타납니다.NASA는 인간 활동이 주된 원인으로 작용하여 지구가 전례 없는
관련 특별 주제 추천
음악 작곡 리믹스 제작, 샘플링 준비, 카라오케 마스터 파일 제작을 위한 AI 스템 분리 도구
리믹스 제작, 샘플링 준비, 카라오케 마스터 파일 제작을 위한 AI 스템 분리 도구

2026년 최신형으로 선정된 최고 평점의 AI 스템 분리 도구들은 리믹스 제작, 샘플링 준비, 카라오케 녹음에 특화되어 있습니다. 이 강력하고 혁신적인 도구들은 실제 환경에서의 테스트를 거쳐 정밀한 오디오 분리 기능을 제공함으로써 작업 효율성을 크게 향상시켜 줍니다. XIX.AI는 매주 업데이트되는 무료 버전과 유료 버전의 비교 가이드를 제공하여 사용자의 니즈에 가장 적합한 도구를 찾는 데 도움을 줍니다. 지금 바로 확인하여 AI 기술의 잠재력을 최대한 활용해 보세요.

8 도구
xix.ai
데이터 분석 수익 대시보드, 퍼널 분석, 그리고 제품 지표를 위한 AI SQL 코파일럿
수익 대시보드, 퍼널 분석, 그리고 제품 지표를 위한 AI SQL 코파일럿

2026년 최신 최고의 AI SQL 코파일럿들이 최상위 순위에 올랐습니다! XIX.AI는 매주 업데이트되는 실제 환경 테스트를 위해 강력하고 혁신적인 도구들을 선별하여 제공합니다. 반드시 사용해 보아야 할 이 도구들은 정확한 수익 대시보드를 생성하고, 판매 과정을 분석하며, 제품 관련 지표를 신속하게 추적할 수 있도록 도와 생산성을 크게 향상시켜 줍니다. 데이터 기반 의사결정을 위한 완벽한 도구를 찾아보세요! 238자

9 도구
xix.ai
음악 작곡 노래 초안을 위한 최고의 AI 멜로디 작곡 도구
노래 초안을 위한 최고의 AI 멜로디 작곡 도구

2026년 최신 최고 인기 AI 멜로디 작곡 도구! XIX.AI는 엄격한 실전 테스트를 거쳐 최고의 작곡 경험을 제공하는 강력한 게임 체인저 컬렉션을 엄선했습니다. 무료와 유료 버전의 상세 비교, 정확한 순위, 그리고 놀라운 노래 초안을 손쉽게 만들고 창의적 생산성을 크게 높일 수 있는 필수 추천 옵션들을 확인할 수 있습니다. 지금 바로 탐색하여 완벽한 도구를 발견하세요!

8 도구
xix.ai
챗봇 면접 연습을 위한 최고의 AI 대화 트레이너 도구
면접 연습을 위한 최고의 AI 대화 트레이너 도구

2026년 최신 최고의 평점 높은 AI 대화 트레이너 도구들이 XIX.AI에서 만나보세요! 면접 연습을 위한 이 엄선된 컬렉션은 강력한, 게임 체인저 도구들을 포함하고 있으며, 엄격한 실제 세계 테스트를 거쳐 정확한 피드백을 제공합니다. 무료 대 유료 비교와 상세한 순위표를 찾을 수 있어 자신감과 기술을 향상시킬 수 있는 꼭 시도해봐야 할 옵션을 선택하는 데 도움이 됩니다. 지금 탐색하여 면접 성공을 위한 완벽한 도구를 발견하세요!

12 도구
xix.ai
디자인과 예술 창의적인 실험을 위한 최고의 AI 스타일 변환 도구
창의적인 실험을 위한 최고의 AI 스타일 변환 도구

2026년 최신, 최고 평점을 받은 창의적 실험을 위한 AI 스타일 변환 도구! XIX.AI는 실제 테스트와 엄격한 평가를 통해 탁월한 결과를 보여주는, 강력하고 판도를 바꿀 만한 ‘꼭 사용해 봐야 할’ 도구들을 엄선했습니다. 이 최고의 솔루션들은 콘텐츠 제작 속도를 높이고 무한한 창의적 가능성을 열어줌으로써 크리에이터들의 생산성을 크게 높여줍니다. 지금 바로 탐색하여 나에게 딱 맞는 도구를 찾아보고, 오늘 바로 창작을 시작해 보세요!

9 도구
xix.ai
만화 창작 시각적 스토리텔링을 위한 최고의 AI 대화 풍선 도구
시각적 스토리텔링을 위한 최고의 AI 대화 풍선 도구

2026년 시각적 스토리텔링을 위한 최신 최고 평점의 AI 대화 풍선 도구가 XIX.AI에 소개됩니다! 이 엄선된 모음집에는 크리에이터들이 생산성을 높이고 창의적인 난관을 극복하는 데 도움을 주는, 강력하고 획기적인 도구들이 포함되어 있습니다. 무료 버전과 유료 버전의 비교 정보를 확인하고, 실제 테스트 결과를 살펴보며, 최신 순위를 통해 매력적인 시각적 이야기를 만드는 데 꼭 필요한 솔루션을 찾아보세요. 지금 바로 탐색하여 여러분에게 딱 맞는 도구를 발견해 보세요!

10 도구
xix.ai
의견 (3)
0/500
TerryAdams
TerryAdams 2026년 3월 30일 오후 7시 1분 7초 GMT+09:00

Alors, cette nouvelle me fait vraiment réfléchir aux limites entre innovation et éthique dans l'IA. Perplexity ferait ça en cachette ? Si c'est vrai, c'est pas joli joli. On dirait un peu un jeu du chat et de la souris où les startups bousculent les règles. 😬 Mais bon, Cloudflare n'est pas parfait non plus, ils ont leur propre agenda. Un peu de transparence ne ferait de mal à personne ! C'est ce manque de clarté qui mine la confiance du public envers toute cette industrie.

ScottPerez
ScottPerez 2026년 2월 15일 오후 9시 0분 58초 GMT+09:00

¿Está Perplexity realmente raspando sitios web bloqueados a escondidas? 🤔 Si es verdad, es bastante preocupante. Muchas empresas de IA prometen ser 'éticas', pero a veces parece que sus acciones contradicen sus palabras. Espero que haya más transparencia en la industria y que respeten los archivos robots.txt de los sitios. Este caso podría suponer un precedente importante.

JohnGarcia
JohnGarcia 2026년 1월 4일 오후 9시 30분 39초 GMT+09:00

¿Es esto lo que llaman 'innovación'? Primero nos venden la IA como una herramienta mágica, y luego descubrimos que hacen trampas para robar datos. Si Perplexity realmente evita bloqueos a propósito, es un problema serio de ética y legal. ¡Qué hipocresía! 🙄 ¿Hasta dónde llegarán algunas startups para ganar la carrera de la IA?

OR