Cloudflare은 Disallow AI Training을 도입하여 사이트 관리자가 검색 엔진은 유지한 채로 AI 크롤러를 차단할 수 있도록 했습니다. Apple, Google, Microsoft는 이에 준수할 것을 약속했습니다. 이 도구는 책임 있는 혼합 크롤러를 다른 크롤러와 구분하며, 대부분의 기존 고객에게는 자동으로 마이그레이션됩니다. Google은 곧 투명성 도구를 출시할 예정이며, Apple은 유사한 URL 수준의 도구를 개발 중이고, Microsoft는 2027년 초까지 AI 학습을 위한 robots.txt 거부를 지원할 계획입니다.





집
