Ai Crawlers Surge Wikimedia Commons Bandwidth Demand em 50%

A Wikimedia Foundation, o corpo-mãe por trás da Wikipedia e várias outras plataformas de conhecimento de origem da multidão, anunciou na quarta-feira um aumento impressionante de 50% no uso de largura de banda para downloads multimídia do Wikimedia Commons desde que o Sumort Automating, mas o Sumort Automating, mas o Sumort Automoused, mas, como um dos autores, não é o que há de um pós-suportes, mas é o que é um dos mansos, mas é o que há de um pós-suportes, mas é o que é um dos dados de um súmito.

"Nossa infraestrutura foi projetada para lidar com picos repentinos no tráfego de seres humanos durante os principais eventos, mas o volume de tráfego de bots raspador é incomparável e representa riscos e custos crescentes", explica o post.

O Wikimedia Commons serve como um hub gratuitamente acessível para imagens, vídeos e arquivos de áudio, todos disponíveis em licenças abertas ou em domínio público.

Definindo mais profundamente, a Wikimedia revelou que 65% do tráfego mais intensivo de recursos-medido pelo tipo de conteúdo consumido-compensações de bots. No entanto, esses bots representam apenas 35% das visualizações gerais de página. A discrepância, de acordo com a Wikimedia, decorre de com que frequência o conteúdo acessado é armazenado em cache mais próximo dos usuários, enquanto conteúdo menos popular, que os bots costumam ter como alvo, são armazenados no "data center principal" mais caro.

"Enquanto os leitores humanos tendem a se concentrar em tópicos específicos, muitas vezes semelhantes, os rastreadores tendem a 'ler a massa' um número maior de páginas e a visitar as menos populares também", observou Wikimedia. "Isso resulta na encaminhamento dessas solicitações ao principal datacenter, o que aumenta significativamente nossos custos de consumo de recursos".

Como resultado, a equipe de confiabilidade do site da Wikimedia Foundation está dedicando tempo e recursos substanciais ao bloqueio desses rastreadores para evitar interrupções nos usuários do cotidiano. Isso nem sequer toca nos custos de nuvem crescente com os quais a fundação está disputando.

Esse cenário faz parte de uma tendência mais ampla que está colocando em risco a internet aberta. No mês passado, o engenheiro de software e o advogado de código aberto Drew Devault lamentou que os rastreadores de AI estão ignorando flagrantemente os arquivos "robots.txt" destinados a impedir o tráfego automatizado. Da mesma forma, Gergely Orosz, conhecido como "engenheiro pragmático", recentemente expressou sua frustração sobre como os raspadores de IA de empresas como a Meta aumentaram as demandas de largura de banda por seus projetos.

Embora as infra-estruturas de código aberto sejam particularmente vulneráveis, os desenvolvedores estão respondendo com ingenuidade e determinação. A TechCrunch destacou na semana passada que algumas empresas de tecnologia estão intensificando. Por exemplo, o CloudFlare introduziu o AI Labyrinth, projetado para desacelerar os rastreadores com conteúdo gerado pela IA.

No entanto, continua sendo um jogo constante de gato e mouse, que pode levar muitos editores a se retirarem atrás de logins e paywalls, prejudicando a natureza aberta da web em que todos confiamos.