Open Source -Entwickler bekämpfen KI -Crawler mit Einfallsreichtum und Vergeltung

KI-Web-Crawling-Bots sind laut vielen Softwareentwicklern zum Fluch des Internets geworden. Als Reaktion darauf haben sich einige Entwickler dazu gebracht, sich mit kreativen und oft amüsanten Strategien zu wehren.

Open Source -Entwickler werden von diesen Schurken -Bots besonders hart getroffen, wie von Niccolò Venerandi, dem Entwickler hinter dem Linux -Desktop -Plasma und den Blog -Librenews, festgestellt. Foss -Websites, auf denen kostenlose und Open -Source -Projekte stattfinden, enthüllen mehr ihrer Infrastruktur und verfügen im Allgemeinen weniger Ressourcen als kommerzielle Standorte.

Das Problem wird verschärft, da viele AI -Bots die Robot.txt -Datei des Roboter -Ausschlussprotokolls ignorieren, die Bots über das nicht kriechen soll.

In einem ergreifenden Blog -Beitrag im Januar teilte der FOSS -Entwickler XE IASO eine belastende Erfahrung mit Amazonbot mit, die eine Git -Server -Website bombardierte und DDOS -Ausfälle verursachte. Git -Server sind entscheidend für das Hosting von FOSS -Projekten und ermöglichen es jedem, den Code herunterzuladen und beizutragen.

IASO wies darauf hin, dass der Bot die Robot.txt -Datei ignorierte, verschiedene IP -Adressen verwendete und sich sogar als andere Benutzer tarnierte. "Es ist zwecklos, KI -Crawler -Bots zu blockieren, weil sie lügen, ihren Benutzeragenten ändern, IP -Adressen für Wohngebäude als Proxys verwenden und mehr", beklagte Iaso.

"Sie werden Ihre Website kratzen, bis sie umfällt, und dann werden sie mehr kratzen. Sie klicken auf jeden Link auf jedem Link auf jedem Link und sehen sich immer und immer wieder dieselben Seiten an. Einige von ihnen klicken sogar in derselben Sekunde sogar mehrmals auf denselben Link", schrieb der Entwickler.

Betreten Sie den Gott der Gräber

Um dies zu bekämpfen, entwickelte IASO ein cleveres Werkzeug namens Anubis. Es fungiert als Reverse-Proxy, für den eine Prüfung der Arbeit erforderlich ist, bevor Anforderungen zum Erreichen des Git-Servers ermöglicht werden. Dies blockiert Bots effektiv und ermöglicht es, durch Menschen betriebene Browser durchzugehen.

Der Name des Werkzeugs, Anubis, stammt aus der ägyptischen Mythologie, wo Anubis der Gott ist, der die Toten zum Gericht führt. "Anubis wog deine Seele (Herz) und wenn es schwerer war als eine Feder, wurde dein Herz gegessen und du starb wie Mega", erklärte Iaso TechCrunch. Das erfolgreiche Bestehen der Herausforderung wird mit einem niedlichen Anime -Bild von Anubis gefeiert, während Bot -Anfragen abgelehnt werden.

Das Projekt, das am 19. März auf Github geteilt wurde, erlangte schnell an Traktion und sammelte in wenigen Tagen 2.000 Sterne, 20 Mitwirkende und 39 Gabeln.

Rache als Verteidigung

Die weit verbreitete Einführung von Anubis weist darauf hin, dass die Kämpfe von IASO alles andere als isoliert sind. Venerandi erzählte zahlreiche ähnliche Erfahrungen:

• Drew Devault, Gründer und CEO von SourceHut, verbringt einen erheblichen Teil seiner Zeit mit aggressiven LLM -Crawler und litt in häufigen Ausfällen.
• Jonathan Corbet, ein prominenter Foss -Entwickler und Betreiber von LWN, hat gesehen, wie sein Standort durch KI -Schaberbots verlangsamt wurde.
• Kevin Fenzi, Sysadmin für das Linux Fedora -Projekt, musste aufgrund der aggressiven AI -Bot -Aktivität den gesamten Verkehr aus Brasilien blockieren.

Venerandi erwähnte TechCrunch, dass er von anderen Projekten kenne, die auf extreme Maßnahmen zurückgreifen mussten, z. B. das Verbot aller chinesischen IP -Adressen.

Einige Entwickler glauben, dass es die beste Verteidigung ist, sich mit Rache zu wehren. Ein Benutzer namens XYZAL in Hacker News schlug vor, Roboter zu füllen.

"Denken Sie, wir müssen darauf abzielen, dass die Bots den Nutzwert von _negative_ vom Besuch unserer Fallen und nicht nur von Null erhalten", erklärte Xyzal.

Im Januar veröffentlichte ein anonymer Entwickler namens "Aaron" Nepenthes, ein Tool, das Crawler in einem Labyrinth gefälschter Inhalte fangen soll, von dem der Schöpfer in ARS Technica aggressiv, wenn nicht sogar unglaublich bösartig war. Nepenthes wurde nach einer fleischfressenden Anlage benannt und zielt darauf ab, die Ressourcen von Fehlbotten zu verwirren und zu verschwenden.

In ähnlicher Weise hat CloudFlare kürzlich AI Labyrinth gestartet, um die Ressourcen von KI -Crawlern zu verlangsamen, zu verwirren und zu verschwenden, die "No Crawl" -Richtlinien ignorieren. Das Tool füttert diese Bots irrelevante Inhalte, um legitime Website -Daten zu schützen.

Devault aus SourceHut sagte TechCrunch, dass Nepenthes zwar ein Gefühl der Gerechtigkeit bietet, indem er den Crawlern Unsinn ernährt, Anubis jedoch als effektivere Lösung für seine Website erwiesen hat. Er machte jedoch auch einen herzlichen Einspruch für eine direktere Lösung: "Bitte hören Sie auf, LLMs oder KI -Bildgeneratoren oder Github -Copilot oder einen dieser Müll zu legitimieren. Ich bittet Sie, aufzuhören, sie nicht mehr zu verwenden, nicht mehr über sie zu sprechen, aufzuhören, neue zu machen, einfach aufzuhören."

Angesichts der Unwahrscheinlichkeit, dass dies geschieht, kämpfen Entwickler, insbesondere in der Foss -Community, weiterhin mit Einfallsreichtum und einem Schuss Humor.