Heim
Cloudflare beschuldigt Perplexity, KI-Bots zum heimlichen Crawlen gesperrter Websites einzusetzen

AI-Startup beschuldigt, Website-Beschränkungen zu umgehen
Die jüngste Untersuchung von Cloudflare behauptet, dass das KI-Suchunternehmen Perplexity Taktiken anwendet, um Crawling-Beschränkungen von Website-Besitzern zu umgehen. Der Internet-Infrastrukturanbieter berichtet von systematischen Versuchen, die Web-Crawler von Perplexity zu verschleiern, wenn sie auf Zugangsbeschränkungen stoßen.
Die Umgehungstaktik
Nach den Erkenntnissen von Cloudflare weisen die Crawler von Perplexity zunächst eine Standardidentifikation auf ("PerplexityBot" oder "Perplexity-User"). Wenn sie jedoch durch:
- robots.txt-Richtlinien
- Web Application Firewall-Regeln
- Andere Zugangsbeschränkungen
Das System geht angeblich dazu über, seine Identität als normaler Chrome-Browser-Benutzer auf macOS zu verschleiern, indem es Folgendes verwendet:
- Rotierende IP-Adressen, die nicht offiziell aufgeführt sind
- Ändern von Netzwerkbezeichnern für autonome Systeme
- Undokumentierte User-Agent-Muster
Ausmaß der Aktivität
Cloudflare dokumentiert dieses Verhalten über:
- Zehntausende von Domains
- Millionen von täglichen Anfragen
- Verschiedene Netzwerkkonfigurationen
Antworten des Unternehmens
Die offizielle Erklärung von Perplexity widerspricht Cloudflare's Charakterisierung und beschreibt sie als:
- Ein "Publicity-Gag"
- Viele Missverständnisse" enthaltend
- Potenzielle Verwechslung von legitimem Nutzerverkehr mit Scraping-Aktivitäten
Das Startup schreibt einige erkannte Aktivitäten zu:
- Tatsächliche Nutzer, die bestimmte Anfragen stellen
- Drittanbieter-Dienst BrowserBase
- Gelegentliche technische Notwendigkeiten
Branchenkontext
Dieser Vorfall folgt:
- Frühere Berichte über die Umgehung von Paywalls durch Perplexity
- Frühere Zuschreibungen des Unternehmens an Crawler von Drittanbietern
- Wachsende Besorgnis in der Branche über das Scraping von KI-Inhalten
Cloudflare hat Maßnahmen ergriffen:
- Entzug des verifizierten Bot-Status von Perplexity
- Implementierung neuer Blockierungsmaßnahmen
- Ausweitung der Standardbeschränkungen für AI-Crawler
Die Situation spiegelt allgemeinere Spannungen zwischen:
- dem Datenbedarf von KI-Unternehmen
- Rechte und Schutz der Herausgeber
- sich entwickelnden Reaktionen der Internet-Infrastruktur
Verwandter Artikel
Warner Music übernimmt das KI-Zuschreibungsstart-up Sureel AI
Warner Music Group (WMG) hat am Mittwoch bestätigt, dass es Sureel AI, ein Startup für KI-gestützte Attribution, übernimmt. Die proprietäre Technologie von Sureel generiert „AI-DNA“ für Musikstücke, indem sie diese in ihre Bestandteile zerlegt, um na
Amazon führt Alexa für den Einkauf ein und schiebt Rufus in den Hintergrund
Amazon hat Alexa for Shopping eingeführt, indem es den Rufus-Shopping-Chatbot mit Alexa+ in der App, auf der Website und auf Echo Show-Geräten zusammenführt.Der Assistent beantwortet Produktanfragen, vergleicht Artikel, verfolgt Preise und unterstüt
Microsoft, Azure und KI-Technologie bekämpfen die Risiken von Waldbränden in Kalifornien
Microsoft investiert in die KI-gestützte Erkennung von Waldbränden. Juan Lavista Ferres, CVP und Chief Data Scientist, erörtert Strategien zur Eindämmung von Umweltschäden.Laut der NASA betrifft der K
Empfehlungen zu verwandten Spezialthemen
Kommentare (3)
Alors, cette nouvelle me fait vraiment réfléchir aux limites entre innovation et éthique dans l'IA. Perplexity ferait ça en cachette ? Si c'est vrai, c'est pas joli joli. On dirait un peu un jeu du chat et de la souris où les startups bousculent les règles. 😬 Mais bon, Cloudflare n'est pas parfait non plus, ils ont leur propre agenda. Un peu de transparence ne ferait de mal à personne ! C'est ce manque de clarté qui mine la confiance du public envers toute cette industrie.
¿Está Perplexity realmente raspando sitios web bloqueados a escondidas? 🤔 Si es verdad, es bastante preocupante. Muchas empresas de IA prometen ser 'éticas', pero a veces parece que sus acciones contradicen sus palabras. Espero que haya más transparencia en la industria y que respeten los archivos robots.txt de los sitios. Este caso podría suponer un precedente importante.
¿Es esto lo que llaman 'innovación'? Primero nos venden la IA como una herramienta mágica, y luego descubrimos que hacen trampas para robar datos. Si Perplexity realmente evita bloqueos a propósito, es un problema serio de ética y legal. ¡Qué hipocresía! 🙄 ¿Hasta dónde llegarán algunas startups para ganar la carrera de la IA?

AI-Startup beschuldigt, Website-Beschränkungen zu umgehen
Die jüngste Untersuchung von Cloudflare behauptet, dass das KI-Suchunternehmen Perplexity Taktiken anwendet, um Crawling-Beschränkungen von Website-Besitzern zu umgehen. Der Internet-Infrastrukturanbieter berichtet von systematischen Versuchen, die Web-Crawler von Perplexity zu verschleiern, wenn sie auf Zugangsbeschränkungen stoßen.
Die Umgehungstaktik
Nach den Erkenntnissen von Cloudflare weisen die Crawler von Perplexity zunächst eine Standardidentifikation auf ("PerplexityBot" oder "Perplexity-User"). Wenn sie jedoch durch:
- robots.txt-Richtlinien
- Web Application Firewall-Regeln
- Andere Zugangsbeschränkungen
Das System geht angeblich dazu über, seine Identität als normaler Chrome-Browser-Benutzer auf macOS zu verschleiern, indem es Folgendes verwendet:
- Rotierende IP-Adressen, die nicht offiziell aufgeführt sind
- Ändern von Netzwerkbezeichnern für autonome Systeme
- Undokumentierte User-Agent-Muster
Ausmaß der Aktivität
Cloudflare dokumentiert dieses Verhalten über:
- Zehntausende von Domains
- Millionen von täglichen Anfragen
- Verschiedene Netzwerkkonfigurationen
Antworten des Unternehmens
Die offizielle Erklärung von Perplexity widerspricht Cloudflare's Charakterisierung und beschreibt sie als:
- Ein "Publicity-Gag"
- Viele Missverständnisse" enthaltend
- Potenzielle Verwechslung von legitimem Nutzerverkehr mit Scraping-Aktivitäten
Das Startup schreibt einige erkannte Aktivitäten zu:
- Tatsächliche Nutzer, die bestimmte Anfragen stellen
- Drittanbieter-Dienst BrowserBase
- Gelegentliche technische Notwendigkeiten
Branchenkontext
Dieser Vorfall folgt:
- Frühere Berichte über die Umgehung von Paywalls durch Perplexity
- Frühere Zuschreibungen des Unternehmens an Crawler von Drittanbietern
- Wachsende Besorgnis in der Branche über das Scraping von KI-Inhalten
Cloudflare hat Maßnahmen ergriffen:
- Entzug des verifizierten Bot-Status von Perplexity
- Implementierung neuer Blockierungsmaßnahmen
- Ausweitung der Standardbeschränkungen für AI-Crawler
Die Situation spiegelt allgemeinere Spannungen zwischen:
- dem Datenbedarf von KI-Unternehmen
- Rechte und Schutz der Herausgeber
- sich entwickelnden Reaktionen der Internet-Infrastruktur
Warner Music übernimmt das KI-Zuschreibungsstart-up Sureel AI
Warner Music Group (WMG) hat am Mittwoch bestätigt, dass es Sureel AI, ein Startup für KI-gestützte Attribution, übernimmt. Die proprietäre Technologie von Sureel generiert „AI-DNA“ für Musikstücke, indem sie diese in ihre Bestandteile zerlegt, um na
Microsoft, Azure und KI-Technologie bekämpfen die Risiken von Waldbränden in Kalifornien
Microsoft investiert in die KI-gestützte Erkennung von Waldbränden. Juan Lavista Ferres, CVP und Chief Data Scientist, erörtert Strategien zur Eindämmung von Umweltschäden.Laut der NASA betrifft der K
Alors, cette nouvelle me fait vraiment réfléchir aux limites entre innovation et éthique dans l'IA. Perplexity ferait ça en cachette ? Si c'est vrai, c'est pas joli joli. On dirait un peu un jeu du chat et de la souris où les startups bousculent les règles. 😬 Mais bon, Cloudflare n'est pas parfait non plus, ils ont leur propre agenda. Un peu de transparence ne ferait de mal à personne ! C'est ce manque de clarté qui mine la confiance du public envers toute cette industrie.
¿Está Perplexity realmente raspando sitios web bloqueados a escondidas? 🤔 Si es verdad, es bastante preocupante. Muchas empresas de IA prometen ser 'éticas', pero a veces parece que sus acciones contradicen sus palabras. Espero que haya más transparencia en la industria y que respeten los archivos robots.txt de los sitios. Este caso podría suponer un precedente importante.
¿Es esto lo que llaman 'innovación'? Primero nos venden la IA como una herramienta mágica, y luego descubrimos que hacen trampas para robar datos. Si Perplexity realmente evita bloqueos a propósito, es un problema serio de ética y legal. ¡Qué hipocresía! 🙄 ¿Hasta dónde llegarán algunas startups para ganar la carrera de la IA?











