KI -Crawler Surge Wikimedia Commons Bandbreitennachfrage um 50%

Die Wikimedia Foundation, die Elternschaft hinter Wikipedia und zahlreiche andere Crowd-Sourcing-Wissensplattformen, kündigte am Mittwoch eine erstaunliche Erhöhung der Gebrauchs der Bandbreite für Multimedia-Downloads von Wikimedia Commons seit Januar 2024 an. Dieser Anstieg, wie es am Dienstag detailliert ist, wird am Dienstag von einem Aufstieg bei der Aufstieg der männlichen Kuriosität und dem Anstieg der männlichen Kuriosität und dem automatischen Aufstieg von automatisierten Aufstiegsanlagen von automatisierten Aufstiegsanlagen detailliert.

„Unsere Infrastruktur ist so konzipiert, dass sie bei größeren Ereignissen plötzliche Verkehrsschwankungen des Menschen übernehmen, aber das Verkehrsvolumen von Schaber -Bots ist unübertroffen und steigt zu steigenden Risiken und Kosten“, erklärt der Posten.

Wikimedia Commons dient als frei zugänglicher Hub für Bilder, Videos und Audiodateien, die alle unter offenen Lizenzen oder öffentlich zugänglich sind.

Wikimedia trug tiefer und ergab, dass satte 65% des ressourcenintensivsten Verkehrs-durch die Art der konsumierten Inhalte-von Bots gemessen werden. Diese Bots machen jedoch nur 35% der gesamten Seitenaufrufe aus. Laut Wikimedia beruht die Diskrepanz darauf, wie häufig der Zugriff auf Inhalte näher an Benutzer zwischengespeichert wird, während weniger beliebte Inhalte, auf die Bots häufig abzielen, im teureren "Kerndatenzentrum" gespeichert sind.

„Während menschliche Leser dazu neigen, sich auf spezifische, oft ähnliche Themen zu konzentrieren, neigen Crawler -Bots dazu, eine größere Anzahl von Seiten zu lesen und auch weniger beliebte zu besuchen“, bemerkte Wikimedia. "Dies führt dazu, dass diese Anfragen an den Kerndatcenter weitergeleitet werden, was die Kosten für den Ressourcenverbrauch erheblich erhöht."

Infolgedessen widmet das Site -Zuverlässigkeitsteam der Wikimedia Foundation erhebliche Zeit und Ressourcen, um diese Crawlers zu blockieren, um Störungen für alltägliche Benutzer zu verhindern. Dies berührt nicht einmal die eskalierenden Wolkenkosten, mit denen die Stiftung kämpft.

Dieses Szenario ist Teil eines breiteren Trends, der das offene Internet gefährdet. Erst letzten Monat beklagte der Software-Ingenieur und Open-Source-Advocate Devault, dass AI-Crawler "Robots.txt" -Dateien ignorieren, die den automatisierten Verkehr abhalten sollen. In ähnlicher Weise hat Gergly Orosz, bekannt als "pragmatischer Ingenieur", kürzlich seine Frustration darüber geäußert, wie KI -Schaber von Unternehmen wie Meta die Forderungen der Bandbreite nach seinen Projekten versetzt haben.

Während Open-Source-Infrastrukturen besonders anfällig sind, reagieren Entwickler mit Einfallsreichtum und Entschlossenheit. TechCrunch hat letzte Woche hervorgehoben, dass einige Technologieunternehmen steigen. Zum Beispiel führte CloudFlare AI Labyrinth ein, um Crawler mit AI-generierten Inhalten zu verlangsamen.

Dennoch bleibt es ein ständiges Spiel von Katze und Maus, das viele Verlage dazu bringen könnte, sich hinter Logins und Paywalls zurückzuziehen, was letztendlich die offene Natur des Webs schadet, auf das wir uns alle verlassen.