Cloudflare beschuldigt Perplexity, KI-Bots zum heimlichen Crawlen gesperrter Websites einzusetzen
AI-Startup beschuldigt, Website-Beschränkungen zu umgehen
Die jüngste Untersuchung von Cloudflare behauptet, dass das KI-Suchunternehmen Perplexity Taktiken anwendet, um Crawling-Beschränkungen von Website-Besitzern zu umgehen. Der Internet-Infrastrukturanbieter berichtet von systematischen Versuchen, die Web-Crawler von Perplexity zu verschleiern, wenn sie auf Zugangsbeschränkungen stoßen.
Die Umgehungstaktik
Nach den Erkenntnissen von Cloudflare weisen die Crawler von Perplexity zunächst eine Standardidentifikation auf ("PerplexityBot" oder "Perplexity-User"). Wenn sie jedoch durch:
- robots.txt-Richtlinien
- Web Application Firewall-Regeln
- Andere Zugangsbeschränkungen
Das System geht angeblich dazu über, seine Identität als normaler Chrome-Browser-Benutzer auf macOS zu verschleiern, indem es Folgendes verwendet:
- Rotierende IP-Adressen, die nicht offiziell aufgeführt sind
- Ändern von Netzwerkbezeichnern für autonome Systeme
- Undokumentierte User-Agent-Muster
Ausmaß der Aktivität
Cloudflare dokumentiert dieses Verhalten über:
- Zehntausende von Domains
- Millionen von täglichen Anfragen
- Verschiedene Netzwerkkonfigurationen
Antworten des Unternehmens
Die offizielle Erklärung von Perplexity widerspricht Cloudflare's Charakterisierung und beschreibt sie als:
- Ein "Publicity-Gag"
- Viele Missverständnisse" enthaltend
- Potenzielle Verwechslung von legitimem Nutzerverkehr mit Scraping-Aktivitäten
Das Startup schreibt einige erkannte Aktivitäten zu:
- Tatsächliche Nutzer, die bestimmte Anfragen stellen
- Drittanbieter-Dienst BrowserBase
- Gelegentliche technische Notwendigkeiten
Branchenkontext
Dieser Vorfall folgt:
- Frühere Berichte über die Umgehung von Paywalls durch Perplexity
- Frühere Zuschreibungen des Unternehmens an Crawler von Drittanbietern
- Wachsende Besorgnis in der Branche über das Scraping von KI-Inhalten
Cloudflare hat Maßnahmen ergriffen:
- Entzug des verifizierten Bot-Status von Perplexity
- Implementierung neuer Blockierungsmaßnahmen
- Ausweitung der Standardbeschränkungen für AI-Crawler
Die Situation spiegelt allgemeinere Spannungen zwischen:
- dem Datenbedarf von KI-Unternehmen
- Rechte und Schutz der Herausgeber
- sich entwickelnden Reaktionen der Internet-Infrastruktur
Verwandter Artikel
Google stellt 9 aufregende neue Funktionen in der Home App Soft Launch vor
Google Home App erhält wichtige Updates in der Vorschau 2025Google hat seine Home-App mit mehreren bahnbrechenden Funktionen, die derzeit in der öffentlichen Vorschau verfügbar sind, erheblich verbess
Grammarly expandiert zu einer KI-gestützten Produktivitätsplattform
Grammarly hat angekündigt, die beliebte E-Mail-Produktivitäts-App Superhuman zu übernehmen, wie es in einer offiziellen Erklärung heißt. Der Schritt passt strategisch zu den bestehenden E-Mail-Optimie
Jony Ives geheimnisvolles OpenAI-Gerät verzichtet angeblich auf Bildschirme
Die rätselhafte Zusammenarbeit zwischen OpenAI und dem renommierten Designer Jony Ive entwickelt ein kontextbezogenes Gerät im Taschenformat, das keine Bildschirme enthält und auch nicht die Form eine
Kommentare (0)
0/200
AI-Startup beschuldigt, Website-Beschränkungen zu umgehen
Die jüngste Untersuchung von Cloudflare behauptet, dass das KI-Suchunternehmen Perplexity Taktiken anwendet, um Crawling-Beschränkungen von Website-Besitzern zu umgehen. Der Internet-Infrastrukturanbieter berichtet von systematischen Versuchen, die Web-Crawler von Perplexity zu verschleiern, wenn sie auf Zugangsbeschränkungen stoßen.
Die Umgehungstaktik
Nach den Erkenntnissen von Cloudflare weisen die Crawler von Perplexity zunächst eine Standardidentifikation auf ("PerplexityBot" oder "Perplexity-User"). Wenn sie jedoch durch:
- robots.txt-Richtlinien
- Web Application Firewall-Regeln
- Andere Zugangsbeschränkungen
Das System geht angeblich dazu über, seine Identität als normaler Chrome-Browser-Benutzer auf macOS zu verschleiern, indem es Folgendes verwendet:
- Rotierende IP-Adressen, die nicht offiziell aufgeführt sind
- Ändern von Netzwerkbezeichnern für autonome Systeme
- Undokumentierte User-Agent-Muster
Ausmaß der Aktivität
Cloudflare dokumentiert dieses Verhalten über:
- Zehntausende von Domains
- Millionen von täglichen Anfragen
- Verschiedene Netzwerkkonfigurationen
Antworten des Unternehmens
Die offizielle Erklärung von Perplexity widerspricht Cloudflare's Charakterisierung und beschreibt sie als:
- Ein "Publicity-Gag"
- Viele Missverständnisse" enthaltend
- Potenzielle Verwechslung von legitimem Nutzerverkehr mit Scraping-Aktivitäten
Das Startup schreibt einige erkannte Aktivitäten zu:
- Tatsächliche Nutzer, die bestimmte Anfragen stellen
- Drittanbieter-Dienst BrowserBase
- Gelegentliche technische Notwendigkeiten
Branchenkontext
Dieser Vorfall folgt:
- Frühere Berichte über die Umgehung von Paywalls durch Perplexity
- Frühere Zuschreibungen des Unternehmens an Crawler von Drittanbietern
- Wachsende Besorgnis in der Branche über das Scraping von KI-Inhalten
Cloudflare hat Maßnahmen ergriffen:
- Entzug des verifizierten Bot-Status von Perplexity
- Implementierung neuer Blockierungsmaßnahmen
- Ausweitung der Standardbeschränkungen für AI-Crawler
Die Situation spiegelt allgemeinere Spannungen zwischen:
- dem Datenbedarf von KI-Unternehmen
- Rechte und Schutz der Herausgeber
- sich entwickelnden Reaktionen der Internet-Infrastruktur
Google stellt 9 aufregende neue Funktionen in der Home App Soft Launch vor
Google Home App erhält wichtige Updates in der Vorschau 2025Google hat seine Home-App mit mehreren bahnbrechenden Funktionen, die derzeit in der öffentlichen Vorschau verfügbar sind, erheblich verbess
Grammarly expandiert zu einer KI-gestützten Produktivitätsplattform
Grammarly hat angekündigt, die beliebte E-Mail-Produktivitäts-App Superhuman zu übernehmen, wie es in einer offiziellen Erklärung heißt. Der Schritt passt strategisch zu den bestehenden E-Mail-Optimie
Jony Ives geheimnisvolles OpenAI-Gerät verzichtet angeblich auf Bildschirme
Die rätselhafte Zusammenarbeit zwischen OpenAI und dem renommierten Designer Jony Ive entwickelt ein kontextbezogenes Gerät im Taschenformat, das keine Bildschirme enthält und auch nicht die Form eine
