Cloudflare accuse Perplexity d'utiliser des robots d'intelligence artificielle pour explorer en secret des sites web bloqués
Une entreprise d'IA accusée de contourner les restrictions imposées aux sites web
Selon une enquête récente de Cloudflare, la société Perplexity, spécialisée dans la recherche d'IA, aurait employé des tactiques pour contourner les restrictions d'exploration mises en place par les propriétaires de sites web. Le fournisseur d'infrastructure internet rapporte avoir observé des tentatives systématiques de dissimuler les robots d'exploration de Perplexity lorsqu'ils se heurtent à des barrières d'accès.
Les tactiques de contournement
Selon les constatations de Cloudflare, les robots d'exploration de Perplexity présentent initialement une identification standard ("PerplexityBot" ou "Perplexity-User"). Cependant, lorsqu'ils sont bloqués par des directives :
- directives robots.txt
- des règles du pare-feu des applications web
- d'autres restrictions d'accès.
Le système masquerait son identité en tant qu'utilisateur normal du navigateur Chrome sur macOS, en utilisant :
- la rotation d'adresses IP non répertoriées officiellement
- Changement des identifiants de réseau du système autonome
- des modèles d'agents utilisateurs non documentés.
Ampleur de l'activité
Cloudflare documente ce comportement à travers :
- Des dizaines de milliers de domaines
- Des millions de requêtes quotidiennes
- Diverses configurations de réseau
Réponses de l'entreprise
La déclaration officielle de Perplexity conteste la caractérisation de Cloudflare, la décrivant comme :
- un "coup de publicité"
- contenant "de nombreux malentendus"
- une confusion potentielle entre le trafic légitime des utilisateurs et l'activité de scraping.
La startup attribue une partie de l'activité détectée à
- Des utilisateurs réels effectuant des requêtes spécifiques
- Service tiers BrowserBase
- Nécessités techniques occasionnelles
Contexte de l'industrie
Cet incident fait suite :
- Des rapports antérieurs sur le contournement des paywalls par Perplexity
- Les attributions passées de l'entreprise à des robots d'indexation tiers
- Les préoccupations croissantes de l'industrie concernant le grattage de contenu par l'IA
Cloudflare a pris des mesures en
- Supprimant le statut de bot vérifié de Perplexity
- Mise en œuvre de nouvelles mesures de blocage
- élargissant les restrictions par défaut concernant les robots d'exploration de l'IA.
La situation reflète des tensions plus larges entre :
- les besoins en données des entreprises d'IA
- les droits et protections des éditeurs
- l'évolution des réponses de l'infrastructure de l'internet
Article connexe
Le dispositif secret OpenAI de Jony Ive abandonnerait les écrans
L'énigmatique collaboration entre OpenAI et le célèbre designer Jony Ive est en train de développer un appareil de poche, sensible au contexte, qui ne comportera notamment pas d'écran et ne prendra pa
Les jeux de la console Xbox apparaissent de manière inattendue sur la plateforme d'application Xbox PC
L'application Xbox de Microsoft pour Windows présente un comportement inhabituel qui laisse présager des changements stratégiques plus importants. L'application Xbox pour PC a récemment commencé à aff
Les montres classiques Casio bénéficient d'améliorations modernes : Bluetooth, suivi des pas et jeux
La légendaire montre numérique Casio F-91W, inchangée depuis ses débuts en 1989, est enfin dotée de fonctions intelligentes modernes - bien que, étonnamment, ce ne soit pas Casio elle-même qui en soit
commentaires (0)
0/200
Une entreprise d'IA accusée de contourner les restrictions imposées aux sites web
Selon une enquête récente de Cloudflare, la société Perplexity, spécialisée dans la recherche d'IA, aurait employé des tactiques pour contourner les restrictions d'exploration mises en place par les propriétaires de sites web. Le fournisseur d'infrastructure internet rapporte avoir observé des tentatives systématiques de dissimuler les robots d'exploration de Perplexity lorsqu'ils se heurtent à des barrières d'accès.
Les tactiques de contournement
Selon les constatations de Cloudflare, les robots d'exploration de Perplexity présentent initialement une identification standard ("PerplexityBot" ou "Perplexity-User"). Cependant, lorsqu'ils sont bloqués par des directives :
- directives robots.txt
- des règles du pare-feu des applications web
- d'autres restrictions d'accès.
Le système masquerait son identité en tant qu'utilisateur normal du navigateur Chrome sur macOS, en utilisant :
- la rotation d'adresses IP non répertoriées officiellement
- Changement des identifiants de réseau du système autonome
- des modèles d'agents utilisateurs non documentés.
Ampleur de l'activité
Cloudflare documente ce comportement à travers :
- Des dizaines de milliers de domaines
- Des millions de requêtes quotidiennes
- Diverses configurations de réseau
Réponses de l'entreprise
La déclaration officielle de Perplexity conteste la caractérisation de Cloudflare, la décrivant comme :
- un "coup de publicité"
- contenant "de nombreux malentendus"
- une confusion potentielle entre le trafic légitime des utilisateurs et l'activité de scraping.
La startup attribue une partie de l'activité détectée à
- Des utilisateurs réels effectuant des requêtes spécifiques
- Service tiers BrowserBase
- Nécessités techniques occasionnelles
Contexte de l'industrie
Cet incident fait suite :
- Des rapports antérieurs sur le contournement des paywalls par Perplexity
- Les attributions passées de l'entreprise à des robots d'indexation tiers
- Les préoccupations croissantes de l'industrie concernant le grattage de contenu par l'IA
Cloudflare a pris des mesures en
- Supprimant le statut de bot vérifié de Perplexity
- Mise en œuvre de nouvelles mesures de blocage
- élargissant les restrictions par défaut concernant les robots d'exploration de l'IA.
La situation reflète des tensions plus larges entre :
- les besoins en données des entreprises d'IA
- les droits et protections des éditeurs
- l'évolution des réponses de l'infrastructure de l'internet
Le dispositif secret OpenAI de Jony Ive abandonnerait les écrans
L'énigmatique collaboration entre OpenAI et le célèbre designer Jony Ive est en train de développer un appareil de poche, sensible au contexte, qui ne comportera notamment pas d'écran et ne prendra pa
Les jeux de la console Xbox apparaissent de manière inattendue sur la plateforme d'application Xbox PC
L'application Xbox de Microsoft pour Windows présente un comportement inhabituel qui laisse présager des changements stratégiques plus importants. L'application Xbox pour PC a récemment commencé à aff
Les montres classiques Casio bénéficient d'améliorations modernes : Bluetooth, suivi des pas et jeux
La légendaire montre numérique Casio F-91W, inchangée depuis ses débuts en 1989, est enfin dotée de fonctions intelligentes modernes - bien que, étonnamment, ce ne soit pas Casio elle-même qui en soit
