AI Crawlers Surge Wikimedia Commons Băng thông Nhu cầu 50%

Wikimedia Foundation, cơ thể phụ huynh đằng sau Wikipedia và nhiều nền tảng kiến ​​thức có nguồn gốc đám đông khác, đã công bố vào thứ Tư, việc sử dụng băng thông tăng đáng kinh ngạc 50% cho các bản tải xuống đa phương tiện từ Wikimedia Commons kể từ tháng 1 năm 2024.

Cơ sở hạ tầng của chúng tôi được thiết kế để xử lý sự gia tăng đột ngột trong giao thông từ con người trong các sự kiện lớn, nhưng lưu lượng giao thông từ bot cào là không thể so sánh được và đặt ra rủi ro và chi phí tăng lên, bài viết giải thích.

Wikimedia Commons phục vụ như một trung tâm có thể truy cập tự do cho hình ảnh, video và tệp âm thanh, tất cả đều có sẵn theo giấy phép mở hoặc trong phạm vi công cộng.

Delving sâu hơn, Wikimedia tiết lộ rằng một con số khổng lồ 65% lưu lượng truy cập tốn nhiều tài nguyên nhất có nghĩa là bởi loại nội dung được tiêu thụ từ các bot. Tuy nhiên, các bot này chỉ chiếm 35% tổng số lượt xem trang. Sự khác biệt, theo Wikimedia, bắt nguồn từ mức độ thường xuyên truy cập nội dung được lưu trữ gần hơn với người dùng, trong khi nội dung ít phổ biến hơn, mà các bot thường nhắm mục tiêu, được lưu trữ trong "trung tâm dữ liệu cốt lõi" tốn kém hơn.

Trong khi độc giả của con người có xu hướng tập trung vào các chủ đề cụ thể, thường giống nhau, các bot trình thu thập thông tin có xu hướng 'đọc số lượng lớn' một số lượng lớn hơn và truy cập các trang ít phổ biến hơn, theo Wikimedia. Điều này dẫn đến các yêu cầu này được chuyển tiếp đến trung tâm dữ liệu cốt lõi, làm tăng đáng kể chi phí tiêu thụ tài nguyên của chúng tôi.

Do đó, nhóm độ tin cậy trang web của Wikimedia Foundation đang dành thời gian và nguồn lực đáng kể để chặn các trình thu thập dữ liệu này để ngăn chặn sự gián đoạn cho người dùng hàng ngày. Điều này thậm chí không chạm vào chi phí đám mây leo thang mà nền tảng đang tranh cãi.

Kịch bản này là một phần của xu hướng rộng lớn hơn gây nguy hiểm cho Internet mở. Mới tháng trước, Kỹ sư phần mềm và người ủng hộ nguồn mở Drew Devault than thở rằng AI thu thập dữ liệu đang bỏ qua một cách trắng trợn các tệp robot.txt, nhằm ngăn chặn lưu lượng truy cập tự động. Tương tự, Gergely Orosz, được gọi là "Kỹ sư thực dụng", gần đây đã bày tỏ sự thất vọng của mình về cách AI Crapers từ các công ty như Meta đã tăng băng thông cho các dự án của mình.

Trong khi cơ sở hạ tầng nguồn mở đặc biệt dễ bị tổn thương, các nhà phát triển đang phản ứng với sự khéo léo và quyết tâm. TechCrunch nhấn mạnh vào tuần trước rằng một số công ty công nghệ đang đẩy mạnh. Chẳng hạn, Cloudflare đã giới thiệu AI Labyrinth, được thiết kế để làm chậm các trình thu thập thông tin với nội dung do AI tạo ra.

Tuy nhiên, nó vẫn là một trò chơi liên tục của mèo và chuột, một trò chơi có thể đẩy nhiều nhà xuất bản rút lui sau đăng nhập và trả tiền, cuối cùng gây hại cho bản chất mở của web mà tất cả chúng ta đều dựa vào.