AI Crawlers Surge Wikimedia Commons Ancho de banda Demanda en un 50%

La Fundación Wikimedia, el organismo matriz detrás de Wikipedia y muchas otras plataformas de conocimiento de origen público, anunció el miércoles un asombroso aumento del 50% en el uso de ancho de banda para las descargas multimedia de Wikimedia Commons desde enero de 2024. Este aumento detallado en una publicación de blog el martes, no es un actual cursi en la curiosidad humana, sino por los screaps de los datos.

"Nuestra infraestructura está diseñada para manejar sobretensiones repentinas en el tráfico de los humanos durante los principales eventos, pero el volumen de tráfico de los bots de raspador es inigualable y plantea riesgos y costos crecientes", explica la publicación.

Wikimedia Commons sirve como un centro de acceso libre para imágenes, videos y archivos de audio, todos disponibles con licencias abiertas o en el dominio público.

Al profundizar, Wikimedia, reveló que un enorme 65% del tráfico más intensivo de recursos, medido por el tipo de contenido consumido, proviene de los bots. Sin embargo, estos bots representan solo el 35% de las vistas generales de página. La discrepancia, según Wikimedia, se deriva de la forma en que el contenido al que se accede con frecuencia se almacena más cerca de los usuarios, mientras que el contenido menos popular, a los que los bots a menudo se dirigen, se almacena en el "centro de datos central" más costoso.

"Si bien los lectores humanos tienden a centrarse en los bots específicos, a menudo similares, temas, los bots de rastreadores tienden a 'leer a granel' un mayor número de páginas y visitar también menos populares", señaló Wikimedia. "Esto da como resultado que estas solicitudes se envíen al centro de datos central, que aumenta significativamente nuestros costos de consumo de recursos".

Como resultado, el equipo de confiabilidad del sitio de la Fundación Wikimedia está dedicando un tiempo y recursos sustanciales a bloquear estos rastreadores para evitar interrupciones para los usuarios cotidianos. Esto ni siquiera toca los costos de la nube de creciente con los que se afirma la Fundación.

Este escenario es parte de una tendencia más amplia que está poniendo en peligro la Internet abierto. El mes pasado, el ingeniero de software y el defensor de código abierto Drew Devault lamentó que los rastreadores de IA ignoren descaradamente archivos "robots.txt" destinados a disuadir el tráfico automatizado. Del mismo modo, Gergely Orosz, conocido como el "ingeniero pragmático", recientemente expresó su frustración por cómo los raspadores de IA de compañías como Meta han aumentado las demandas de ancho de banda para sus proyectos.

Si bien las infraestructuras de código abierto son particularmente vulnerables, los desarrolladores están respondiendo con ingenio y determinación. TechCrunch destacó la semana pasada que algunas compañías tecnológicas están dando un paso adelante. Por ejemplo, Cloudflare introdujo AI Labyrinth, diseñado para ralentizar rastreadores con contenido generado por IA.

Sin embargo, sigue siendo un juego constante de gato y ratón, uno que podría empujar a muchos editores a retirarse detrás de los inicios de sesión y los paredes de pago, dañando en última instancia la naturaleza abierta de la web en la que todos confiamos.