클라우드플레어, 새로운 일괄 차단 규칙으로 다양한 AI 크롤러를 겨냥하다

클라우드플레어(Cloudflare)는 기본 서비스 규칙에 대한 주요 업데이트를 시행했으며, 업계 전반의 AI 기업들에게 9월 15일까지 이를 준수할 시간을 부여했습니다. 이제 모든 AI 공급업체는 검색 크롤러, 모델 훈련용 크롤러, AI 에이전트 전용 크롤러를 구분해야 합니다. 이를 구분하지 못하는 혼합형 크롤러는 광고가 포함된 페이지에 접근을 시도할 경우 시스템에 의해 자동으로 차단됩니다.
새로운 규칙의 적용 범위는 광범위하여, 신규 플랫폼 고객은 물론 새로운 사이트를 생성하는 기존 사용자 및 모든 무료 사용자 웹사이트에 동일하게 적용됩니다. 웹사이트 관리자가 혼합 크롤러를 허용하고자 한다면, 백엔드 구성을 수동으로 조정하는 것 외에는 다른 방법이 없으며, 이러한 변경 사항은 AI 기업들이 훈련 자료용으로 웹 콘텐츠를 수집하는 방식에 직접적인 영향을 미칩니다.
많은 사이트 관리자는 기존 검색 엔진이 자신의 콘텐츠를 색인화하는 것은 기꺼이 허용하지만, 자신의 지적 재산이 보상 없이 수집되어 훈련에 사용되는 것은 원치 않습니다. 클라우드플레어(Cloudflare)는 구글의 크롤러가 검색과 AI 데이터 수집 두 가지 목적을 모두 수행하기 때문에, 웹사이트가 검색 색인화는 허용하면서 AI 훈련은 차단하는 것이 어렵다고 지적했습니다. 이에 대응해 구글은 검색 색인화에 영향을 주지 않으면서 AI 훈련 접근을 차단할 수 있는 전용 로봇 도구를 도입했습니다.
그러나 구글의 핵심 크롤러는 검색 엔진의 내장 AI 기능을 위해 계속해서 데이터를 수집할 것이므로, 검색과 AI 데이터 요구 사항을 완전히 분리하기는 어렵습니다. 클라우드플레어 CEO는 로봇 트래픽이 이미 오래전부터 인간 방문자 수를 넘어섰으며, 업계 생태계가 다양한 크롤링 행위를 규제할 필요가 시급하다고 언급했습니다.
클라우드플레어는 콘텐츠 보호 도구를 지속적으로 개선하며, 2024년형 AI 크롤러 차단 도구에서 새로운 가치 기반 과금 모델로 진화하고 있습니다. 이전에는 크롤링 양을 기준으로 요금을 부과했으나, 이제는 AI 애플리케이션에서 콘텐츠가 창출하는 실제 수익에 따라 요금을 산정하는 종량제 방식을 채택했습니다. 데이터에 따르면 AI 크롤러의 절반 이상이 업데이트되지 않은 페이지를 반복적으로 스크래핑하고 있으며, 이러한 결제 방식은 무효 트래픽을 줄이는 동시에 콘텐츠 제작자의 수익을 증대시킬 수 있다.
현재의 결제 방식은 이미 두 곳의 AI 기업을 대상으로 테스트를 마쳤으며, 이를 통해 사이트 관리자는 자신의 콘텐츠가 AI 제품에 사용될 때 직접 수익을 얻을 수 있게 되었습니다. 저작권 규제가 강화되는 환경 속에서, 새로운 규정은 AI 기업들이 크롤링 활동의 투명성을 높일 것을 요구함으로써 웹 콘텐츠 제작자들이 자신의 콘텐츠를 더 효과적으로 통제할 수 있도록 합니다.
관련 기사
SAS는 지능형 엔티티를 관리하고 섀도우 AI의 위험을 완화하기 위한 엔터프라이즈 AI 거버넌스 도구를 출시했습니다
최근 SAS Innovate 컨퍼런스에서 분석 리더인 SAS는 Agentic AI를 위해 설계된 거버넌스 도구 모음을 공개했습니다. 이러한 솔루션은 조직이 투명하고 안전한 자동화 생태계를 구축할 수 있도록 지원하며, 기업용 AI 도입에 내재된 규정 준수 및 신뢰 문제를 해결합니다.실험에서 프로덕션으로의 전환을 위한 거버넌스 구축SAS는 Viya Copilot, Agent Accelerator, 그리고 포괄적인 관리 프레임워크를 구성하는 거버
MacWhisper 14 업데이트로 대본 직접 편집 기능 추가 및 높은 CPU 사용량 문제 해결
MacWhisper를 개발한 독립 개발자 조디 브루인(Jodi Bruijn)은 어제 버전 14.0을 출시하며, 음성 인식 성능 향상을 최우선으로 하고 전용 편집기 화면을 도입했습니다. 2023년 출시 이후, MacWhisper는 OpenAI의 Whisper 및 NVIDIA의 Parakeet과 같은 모델을 로컬에서 실행할 수 있도록 지원하는 macOS용 AI
Qwen3.5-Max Preview가 LMArena에서 1위를 차지하며 중국의 AI 모델들이 글로벌 최상위권에 도달
[[IMG_BASE64_PLACEHOLDER]]
3월 20일, 권위 있는 대형 모델 블라인드 테스트 플랫폼 LMArena의 최신 랭킹에 따르면, 알리바바의 차세대 플래그십 프리뷰 모델인 Qwen3.5-Max-Preview이 탁월한 성능을 발휘했습니다. 1464점을 기록하며 최상위권에 등극했습니다. 이 성과는 기존 국내 모델의 기록을 깨는 것을 넘어, GPT5.4, Claude4.5, Grok4.1 등 주요 해외 모델들을 다방면에서 압도했습니다. 이는 중국의 자체 개발 대형 모델이 공식적으로
관련 특별 주제 추천
의견 (0)
0/500

클라우드플레어(Cloudflare)는 기본 서비스 규칙에 대한 주요 업데이트를 시행했으며, 업계 전반의 AI 기업들에게 9월 15일까지 이를 준수할 시간을 부여했습니다. 이제 모든 AI 공급업체는 검색 크롤러, 모델 훈련용 크롤러, AI 에이전트 전용 크롤러를 구분해야 합니다. 이를 구분하지 못하는 혼합형 크롤러는 광고가 포함된 페이지에 접근을 시도할 경우 시스템에 의해 자동으로 차단됩니다.
새로운 규칙의 적용 범위는 광범위하여, 신규 플랫폼 고객은 물론 새로운 사이트를 생성하는 기존 사용자 및 모든 무료 사용자 웹사이트에 동일하게 적용됩니다. 웹사이트 관리자가 혼합 크롤러를 허용하고자 한다면, 백엔드 구성을 수동으로 조정하는 것 외에는 다른 방법이 없으며, 이러한 변경 사항은 AI 기업들이 훈련 자료용으로 웹 콘텐츠를 수집하는 방식에 직접적인 영향을 미칩니다.
많은 사이트 관리자는 기존 검색 엔진이 자신의 콘텐츠를 색인화하는 것은 기꺼이 허용하지만, 자신의 지적 재산이 보상 없이 수집되어 훈련에 사용되는 것은 원치 않습니다. 클라우드플레어(Cloudflare)는 구글의 크롤러가 검색과 AI 데이터 수집 두 가지 목적을 모두 수행하기 때문에, 웹사이트가 검색 색인화는 허용하면서 AI 훈련은 차단하는 것이 어렵다고 지적했습니다. 이에 대응해 구글은 검색 색인화에 영향을 주지 않으면서 AI 훈련 접근을 차단할 수 있는 전용 로봇 도구를 도입했습니다.
그러나 구글의 핵심 크롤러는 검색 엔진의 내장 AI 기능을 위해 계속해서 데이터를 수집할 것이므로, 검색과 AI 데이터 요구 사항을 완전히 분리하기는 어렵습니다. 클라우드플레어 CEO는 로봇 트래픽이 이미 오래전부터 인간 방문자 수를 넘어섰으며, 업계 생태계가 다양한 크롤링 행위를 규제할 필요가 시급하다고 언급했습니다.
클라우드플레어는 콘텐츠 보호 도구를 지속적으로 개선하며, 2024년형 AI 크롤러 차단 도구에서 새로운 가치 기반 과금 모델로 진화하고 있습니다. 이전에는 크롤링 양을 기준으로 요금을 부과했으나, 이제는 AI 애플리케이션에서 콘텐츠가 창출하는 실제 수익에 따라 요금을 산정하는 종량제 방식을 채택했습니다. 데이터에 따르면 AI 크롤러의 절반 이상이 업데이트되지 않은 페이지를 반복적으로 스크래핑하고 있으며, 이러한 결제 방식은 무효 트래픽을 줄이는 동시에 콘텐츠 제작자의 수익을 증대시킬 수 있다.
현재의 결제 방식은 이미 두 곳의 AI 기업을 대상으로 테스트를 마쳤으며, 이를 통해 사이트 관리자는 자신의 콘텐츠가 AI 제품에 사용될 때 직접 수익을 얻을 수 있게 되었습니다. 저작권 규제가 강화되는 환경 속에서, 새로운 규정은 AI 기업들이 크롤링 활동의 투명성을 높일 것을 요구함으로써 웹 콘텐츠 제작자들이 자신의 콘텐츠를 더 효과적으로 통제할 수 있도록 합니다.
MacWhisper 14 업데이트로 대본 직접 편집 기능 추가 및 높은 CPU 사용량 문제 해결
MacWhisper를 개발한 독립 개발자 조디 브루인(Jodi Bruijn)은 어제 버전 14.0을 출시하며, 음성 인식 성능 향상을 최우선으로 하고 전용 편집기 화면을 도입했습니다. 2023년 출시 이후, MacWhisper는 OpenAI의 Whisper 및 NVIDIA의 Parakeet과 같은 모델을 로컬에서 실행할 수 있도록 지원하는 macOS용 AI
Qwen3.5-Max Preview가 LMArena에서 1위를 차지하며 중국의 AI 모델들이 글로벌 최상위권에 도달
[[IMG_BASE64_PLACEHOLDER]]
3월 20일, 권위 있는 대형 모델 블라인드 테스트 플랫폼 LMArena의 최신 랭킹에 따르면, 알리바바의 차세대 플래그십 프리뷰 모델인 Qwen3.5-Max-Preview이 탁월한 성능을 발휘했습니다. 1464점을 기록하며 최상위권에 등극했습니다. 이 성과는 기존 국내 모델의 기록을 깨는 것을 넘어, GPT5.4, Claude4.5, Grok4.1 등 주요 해외 모델들을 다방면에서 압도했습니다. 이는 중국의 자체 개발 대형 모델이 공식적으로





집






