Cloudflare hat seine Crawler-Regeln aktualisiert, um Bots als Such-KI-Proxys oder Crawler zum Trainieren von Modellen zu kennzeichnen. Ab dem 15. September 2026 werden KI-Proxys und Crawler zum Trainieren von Modellen auf werbefinanzierten Websites standardmäßig blockiert. Hybrid-Crawler werden blockiert, wenn ein Zweck gegen die Richtlinien der Website verstößt. Ein neues Dashboard passt sich der Überwachung von Seitenänderungen durch AEO an, reduziert doppelte Anfragen und ermöglicht es Website-Betreibern dank nutzungsbasierter Abrechnung, Gebühren für das Crawlen von KI-Inhalten zu erheben.





Heim
