KI -Crawler Surge Wikimedia Commons Bandbreitennachfrage um 50%

Die Wikimedia Foundation, die Mutterorganisation hinter Wikipedia und zahlreichen anderen kollaborativen Wissensplattformen, gab am Mittwoch einen erstaunlichen Anstieg des Bandbreitenverbrauchs für Multimediadownloads von Wikimedia Commons um 50 % seit Januar 2024 bekannt. Dieser Anstieg, wie in einem Blogbeitrag am Dienstag detailliert beschrieben, wird nicht durch gesteigertes menschliches Interesse getrieben, sondern durch automatisierte Scraper, die nach Daten für das Training von AI-Modellen hungern.

„Unsere Infrastruktur ist darauf ausgelegt, plötzliche Verkehrsspitzen von Menschen während großer Ereignisse zu bewältigen, aber das Verkehrsvolumen von Scraper-Bots ist unvergleichlich und stellt zunehmende Risiken und Kosten dar“, erklärt der Beitrag.

Wikimedia Commons dient als frei zugängliches Zentrum für Bilder, Videos und Audiodateien, die alle unter offenen Lizenzen oder im öffentlichen Bereich verfügbar sind.

Bei näherer Betrachtung enthüllte Wikimedia, dass satte 65 % des ressourcenintensivsten Datenverkehrs – gemessen an der Art der konsumierten Inhalte – von Bots stammen. Dennoch machen diese Bots nur 35 % der gesamten Seitenaufrufe aus. Die Diskrepanz, so Wikimedia, rührt daher, dass häufig abgerufene Inhalte näher an den Nutzern zwischengespeichert werden, während weniger populäre Inhalte, die Bots oft anvisieren, im kostspieligeren „Kernrechenzentrum“ gespeichert sind.

„Während menschliche Leser dazu neigen, sich auf spezifische, oft ähnliche Themen zu konzentrieren, neigen Crawler-Bots dazu, eine größere Anzahl von Seiten ‚massenhaft zu lesen‘ und auch weniger populäre zu besuchen“, stellte Wikimedia fest. „Dies führt dazu, dass diese Anfragen an das Kernrechenzentrum weitergeleitet werden, was unsere Ressourcenverbrauchskosten erheblich erhöht.“

Infolgedessen widmet das Site-Reliability-Team der Wikimedia Foundation erhebliche Zeit und Ressourcen darauf, diese Crawler zu blockieren, um Störungen für alltägliche Nutzer zu verhindern. Dies berührt noch nicht einmal die eskalierenden Cloud-Kosten, mit denen die Foundation zu kämpfen hat.

Dieses Szenario ist Teil eines größeren Trends, der das offene Internet gefährdet. Erst letzten Monat klagte der Softwareingenieur und Open-Source-Befürworter Drew DeVault, dass AI-Crawler „robots.txt“-Dateien, die automatiserten Datenverkehr abwehren sollen, offensichtlich ignorieren. Ähnlich äußerte Gergely Orosz, bekannt als „pragmatic engineer“, kürzlich seine Frustration darüber, wie AI-Scraper von Unternehmen wie Meta die Bandbreitenanforderungen für seine Projekte in die Höhe getrieben haben.

Während Open-Source-Infrastrukturen besonders anfällig sind, reagieren Entwickler mit Einfallsreichtum und Entschlossenheit. TechCrunch hob letzte Woche hervor, dass einige Technologieunternehmen aktiv werden. Zum Beispiel führte Cloudflare AI Labyrinth ein, das darauf ausgelegt ist, Crawler mit AI-generierten Inhalten zu verlangsamen.

Dennoch bleibt es ein ständiges Katz-und-Maus-Spiel, das viele Verlage dazu zwingen könnte, sich hinter Logins und Bezahlschranken zurückzuziehen, was letztlich die offene Natur des Webs, auf das wir alle angewiesen sind, schädigt.