AI Crawlers Surge Wikimedia Commons Ancho de banda Demanda en un 50%

La Fundación Wikimedia, el organismo matriz detrás de Wikipedia y numerosas otras plataformas de conocimiento colaborativo, anunció el miércoles un asombroso aumento del 50% en el uso de ancho de banda para descargas de multimedia desde Wikimedia Commons desde enero de 2024. Este aumento, detallado en una publicación de blog el martes, no está impulsado por un incremento en la curiosidad humana, sino por raspadores automáticos ávidos de datos para entrenar modelos de IA.

“Nuestra infraestructura está diseñada para manejar picos repentinos de tráfico de humanos durante eventos importantes, pero el volumen de tráfico de bots raspadores es inigualable y representa riesgos y costos crecientes,” explica la publicación.

Wikimedia Commons funciona como un centro de acceso libre para imágenes, videos y archivos de audio, todos disponibles bajo licencias abiertas o en el dominio público.

Profundizando, Wikimedia reveló que un impresionante 65% del tráfico más intensivo en recursos —medido por el tipo de contenido consumido— proviene de bots. Sin embargo, estos bots representan solo el 35% de las vistas totales de páginas. La discrepancia, según Wikimedia, proviene de cómo el contenido frecuentemente accedido se almacena en caché más cerca de los usuarios, mientras que el contenido menos popular, que los bots suelen apuntar, se almacena en el más costoso “centro de datos principal”.

“Mientras los lectores humanos tienden a enfocarse en temas específicos, a menudo similares, los bots rastreadores tienden a ‘leer en masa’ un mayor número de páginas y visitar las menos populares también,” señaló Wikimedia. “Esto resulta en que estas solicitudes se redirijan al centro de datos principal, lo que aumenta significativamente nuestros costos de consumo de recursos.”

Como resultado, el equipo de confiabilidad del sitio de la Fundación Wikimedia está dedicando tiempo y recursos sustanciales a bloquear estos rastreadores para evitar interrupciones para los usuarios cotidianos. Esto ni siquiera aborda los crecientes costos en la nube con los que la Fundación está lidiando.

Este escenario es parte de una tendencia más amplia que está poniendo en peligro la internet abierta. Apenas el mes pasado, el ingeniero de software y defensor del código abierto Drew DeVault lamentó que los rastreadores de IA están ignorando descaradamente los archivos “robots.txt” destinados a disuadir el tráfico automatizado. De manera similar, Gergely Orosz, conocido como el “ingeniero pragmático”, expresó recientemente su frustración por cómo los raspadores de IA de empresas como Meta han disparado las demandas de ancho de banda para sus proyectos.

Aunque las infraestructuras de código abierto son particularmente vulnerables, los desarrolladores están respondiendo con ingenio y determinación. TechCrunch destacó la semana pasada que algunas empresas tecnológicas están dando un paso adelante. Por ejemplo, Cloudflare presentó AI Labyrinth, diseñado para ralentizar a los rastreadores con contenido generado por IA.

Aun así, sigue siendo un constante juego del gato y el ratón, uno que podría empujar a muchos editores a refugiarse detrás de inicios de sesión y muros de pago, perjudicando en última instancia la naturaleza abierta de la web en la que todos confiamos.