Maison
Cloudflare cible les robots d'exploration mixtes basés sur l'IA grâce à de nouvelles règles de blocage en masse

Cloudflare a déployé une mise à jour majeure de ses règles de service par défaut, accordant aux entreprises du secteur de l'IA un délai jusqu'au 15 septembre pour s'y conformer. Tous les fournisseurs d’IA sont désormais tenus de faire la distinction entre les robots d’indexation de recherche, les robots d’entraînement de modèles et les robots spécifiques aux agents d’IA. Tout robot mixte qui ne parvient pas à se distinguer sera automatiquement bloqué par le système lorsqu’il tentera d’accéder à des pages contenant des publicités.
Ces nouvelles règles ont une portée étendue et s’appliquent aussi bien aux nouveaux clients de la plateforme qu’aux utilisateurs existants qui créent de nouveaux sites, ainsi qu’à tous les sites web des utilisateurs de la version gratuite. Si l’administrateur d’un site web souhaite autoriser les robots d’indexation mixtes, la seule option consiste à ajuster manuellement la configuration du backend — une modification qui a un impact direct sur la manière dont les entreprises d’IA collectent le contenu web destiné à l’entraînement de leurs modèles.
De nombreux administrateurs de sites acceptent volontiers que les moteurs de recherche traditionnels indexent leur contenu, mais ils ne souhaitent pas que leur propriété intellectuelle soit exploitée et utilisée à des fins d’entraînement sans compensation. Cloudflare a souligné que le robot d’exploration de Google sert à la fois à la recherche et à la collecte de données pour l’IA, ce qui rend difficile pour les sites web d’autoriser l’indexation pour la recherche tout en bloquant l’entraînement de l’IA. En réponse, Google a mis en place un outil dédié aux robots qui permet aux sites de bloquer l’accès à l’entraînement de l’IA sans affecter leur indexation pour la recherche.
Cependant, le robot d’indexation principal de Google continuera à collecter des données pour les fonctionnalités d’IA intégrées au moteur de recherche, ce qui rend difficile la séparation totale entre les besoins en données de recherche et ceux liés à l’IA. Le PDG de la plateforme a noté que le trafic généré par les robots a depuis longtemps dépassé celui des visites humaines, et que l’écosystème du secteur a un besoin urgent de réglementer les différents comportements d’exploration.
Cloudflare continue d’améliorer ses outils de protection de contenu, passant de l’outil anti-robots d’IA de 2024 à un nouveau modèle de facturation basé sur la valeur. Auparavant, la plateforme facturait en fonction du volume d’exploration, mais elle a désormais adopté une approche de paiement à l’utilisation, calculant les frais en fonction des revenus réels générés par le contenu dans les applications d’IA. Les données indiquent que plus de la moitié des robots d’IA explorent de manière répétée des pages qui n’ont pas été mises à jour, et ce mécanisme de paiement permet de réduire le trafic invalide tout en augmentant les revenus des créateurs.
Le nouveau système de paiement a déjà été testé auprès de deux entreprises spécialisées dans l’IA, permettant aux administrateurs de sites de percevoir directement des revenus lorsque leur contenu est utilisé par des produits d’IA. Dans un contexte de durcissement de la réglementation en matière de droits d’auteur, ces nouvelles règles obligent les entreprises d’IA à accroître la transparence de leurs activités de crawling, offrant ainsi aux créateurs de contenu web un meilleur contrôle sur leurs contenus.
Article connexe
Tencent dévoile le microscope Pingouin, une plateforme de commandes créateurs alimentée par l'IA intégrant la publication de demandes, la mise en correspondance intelligente et le règlement dans WeChat
Tencent a lancé « Penguin Micro », une nouvelle plateforme de mise en relation au sein de WeChat qui connecte les créateurs de contenus générés par l’intelligence artificielle aux utilisateurs à la recherche de services créatifs. Fonctionnant sous le
ChatGPT obtient une mise à jour majeure pour cloner avec précision les styles d'écriture individuels
L’intelligence artificielle évolue d’outils génériques vers des partenaires de bureau personnalisés qui comprennent véritablement vos besoins. ChatGPT Work, conçu pour les environnements d’entreprise et professionnels, a récemment fait l’objet d’une
Google AI Overview lance un carrousel d'actualités en continu, intégrant des informations d'actualité en temps réel dans les résumés
Le 29 juin 2026, Google a déployé une mise à jour importante de l’interface de recherche pour certains utilisateurs, en introduisant un carrousel « Actualités principales » directement au sein du module « Réponses IA ».La spécialiste en référencement
Recommandations de sujets spéciaux liés
commentaires (0)

Cloudflare a déployé une mise à jour majeure de ses règles de service par défaut, accordant aux entreprises du secteur de l'IA un délai jusqu'au 15 septembre pour s'y conformer. Tous les fournisseurs d’IA sont désormais tenus de faire la distinction entre les robots d’indexation de recherche, les robots d’entraînement de modèles et les robots spécifiques aux agents d’IA. Tout robot mixte qui ne parvient pas à se distinguer sera automatiquement bloqué par le système lorsqu’il tentera d’accéder à des pages contenant des publicités.
Ces nouvelles règles ont une portée étendue et s’appliquent aussi bien aux nouveaux clients de la plateforme qu’aux utilisateurs existants qui créent de nouveaux sites, ainsi qu’à tous les sites web des utilisateurs de la version gratuite. Si l’administrateur d’un site web souhaite autoriser les robots d’indexation mixtes, la seule option consiste à ajuster manuellement la configuration du backend — une modification qui a un impact direct sur la manière dont les entreprises d’IA collectent le contenu web destiné à l’entraînement de leurs modèles.
De nombreux administrateurs de sites acceptent volontiers que les moteurs de recherche traditionnels indexent leur contenu, mais ils ne souhaitent pas que leur propriété intellectuelle soit exploitée et utilisée à des fins d’entraînement sans compensation. Cloudflare a souligné que le robot d’exploration de Google sert à la fois à la recherche et à la collecte de données pour l’IA, ce qui rend difficile pour les sites web d’autoriser l’indexation pour la recherche tout en bloquant l’entraînement de l’IA. En réponse, Google a mis en place un outil dédié aux robots qui permet aux sites de bloquer l’accès à l’entraînement de l’IA sans affecter leur indexation pour la recherche.
Cependant, le robot d’indexation principal de Google continuera à collecter des données pour les fonctionnalités d’IA intégrées au moteur de recherche, ce qui rend difficile la séparation totale entre les besoins en données de recherche et ceux liés à l’IA. Le PDG de la plateforme a noté que le trafic généré par les robots a depuis longtemps dépassé celui des visites humaines, et que l’écosystème du secteur a un besoin urgent de réglementer les différents comportements d’exploration.
Cloudflare continue d’améliorer ses outils de protection de contenu, passant de l’outil anti-robots d’IA de 2024 à un nouveau modèle de facturation basé sur la valeur. Auparavant, la plateforme facturait en fonction du volume d’exploration, mais elle a désormais adopté une approche de paiement à l’utilisation, calculant les frais en fonction des revenus réels générés par le contenu dans les applications d’IA. Les données indiquent que plus de la moitié des robots d’IA explorent de manière répétée des pages qui n’ont pas été mises à jour, et ce mécanisme de paiement permet de réduire le trafic invalide tout en augmentant les revenus des créateurs.
Le nouveau système de paiement a déjà été testé auprès de deux entreprises spécialisées dans l’IA, permettant aux administrateurs de sites de percevoir directement des revenus lorsque leur contenu est utilisé par des produits d’IA. Dans un contexte de durcissement de la réglementation en matière de droits d’auteur, ces nouvelles règles obligent les entreprises d’IA à accroître la transparence de leurs activités de crawling, offrant ainsi aux créateurs de contenu web un meilleur contrôle sur leurs contenus.
Tencent dévoile le microscope Pingouin, une plateforme de commandes créateurs alimentée par l'IA intégrant la publication de demandes, la mise en correspondance intelligente et le règlement dans WeChat
Tencent a lancé « Penguin Micro », une nouvelle plateforme de mise en relation au sein de WeChat qui connecte les créateurs de contenus générés par l’intelligence artificielle aux utilisateurs à la recherche de services créatifs. Fonctionnant sous le
ChatGPT obtient une mise à jour majeure pour cloner avec précision les styles d'écriture individuels
L’intelligence artificielle évolue d’outils génériques vers des partenaires de bureau personnalisés qui comprennent véritablement vos besoins. ChatGPT Work, conçu pour les environnements d’entreprise et professionnels, a récemment fait l’objet d’une
Google AI Overview lance un carrousel d'actualités en continu, intégrant des informations d'actualité en temps réel dans les résumés
Le 29 juin 2026, Google a déployé une mise à jour importante de l’interface de recherche pour certains utilisateurs, en introduisant un carrousel « Actualités principales » directement au sein du module « Réponses IA ».La spécialiste en référencement











