एआई क्रॉलर विकिमीडिया कॉमन्स बैंडविड्थ की मांग 50% से बढ़ाता है

विकिपीडिया और कई अन्य भीड़-खट्टे ज्ञान प्लेटफार्मों के पीछे मूल निकाय विकिमीडिया फाउंडेशन, बुधवार को घोषणा की कि जनवरी 2024 के बाद से विकिमीडिया कॉमन्स से मल्टीमीडिया डाउनलोड के लिए बैंडविड्थ उपयोग में 50% की वृद्धि हुई है। यह उछाल, जैसा कि मंगलवार को एक अपच के लिए एक अपट्री द्वारा किया गया है।

"हमारे बुनियादी ढांचे को प्रमुख घटनाओं के दौरान मनुष्यों से यातायात में अचानक वृद्धि को संभालने के लिए डिज़ाइन किया गया है, लेकिन स्क्रैपर बॉट्स से यातायात की मात्रा बेजोड़ है और जोखिम और लागत बढ़ती है," पोस्ट बताते हैं।

विकिमीडिया कॉमन्स छवियों, वीडियो और ऑडियो फ़ाइलों के लिए एक स्वतंत्र रूप से सुलभ हब के रूप में कार्य करता है, सभी खुले लाइसेंस के तहत या सार्वजनिक डोमेन में उपलब्ध हैं।

गहराई से, विकिमीडिया ने खुलासा किया कि सबसे अधिक संसाधन-गहन यातायात का 65%-बॉट्स से खपत की गई सामग्री के प्रकार से प्रभावित होता है। फिर भी, ये बॉट समग्र पेजव्यू के केवल 35% के लिए खाते हैं। विकिमीडिया के अनुसार, विसंगति, कितनी बार एक्सेस की गई सामग्री को उपयोगकर्ताओं के करीब कैश किया जाता है, से उपजा है, जबकि कम लोकप्रिय सामग्री, जो अक्सर बॉट्स को लक्षित करती है, को अधिक महंगा "कोर डेटा सेंटर" में संग्रहीत किया जाता है।

"जबकि मानव पाठक विशिष्ट, अक्सर समान, विषयों पर ध्यान केंद्रित करते हैं, क्रॉलर बॉट्स एक बड़ी संख्या में पृष्ठों को 'पढ़ा' करते हैं और कम लोकप्रिय लोगों का दौरा करते हैं," विकिमीडिया ने कहा। "यह इन अनुरोधों को कोर डेटासेंटर को अग्रेषित किया जा रहा है, जो हमारे संसाधन खपत लागत को काफी बढ़ाता है।"

नतीजतन, विकिमीडिया फाउंडेशन की साइट विश्वसनीयता टीम रोजमर्रा के उपयोगकर्ताओं के लिए व्यवधानों को रोकने के लिए इन क्रॉलर को अवरुद्ध करने के लिए पर्याप्त समय और संसाधन समर्पित कर रही है। यह भी बढ़ती क्लाउड लागत पर स्पर्श नहीं करता है, जिसके साथ नींव के साथ प्रतिस्पर्धा कर रहा है।

यह परिदृश्य एक व्यापक प्रवृत्ति का हिस्सा है जो खुले इंटरनेट को खतरे में डाल रहा है। पिछले महीने, सॉफ्टवेयर इंजीनियर और ओपन-सोर्स एडवोकेट ड्रू डेवॉल्ट ने कहा कि एआई क्रॉलर स्वचालित ट्रैफ़िक को रोकने के उद्देश्य से "रोबोट्स.टैक्स" फाइलों को अनदेखा कर रहे हैं। इसी तरह, Gergely Orosz, जिसे "प्रागमैटिक इंजीनियर" के रूप में जाना जाता है, ने हाल ही में अपनी हताशा को आवाज दी कि कैसे मेटा जैसी कंपनियों के एआई स्क्रेपर्स ने अपनी परियोजनाओं के लिए बैंडविड्थ की मांगों को बढ़ाया है।

जबकि ओपन-सोर्स इन्फ्रास्ट्रक्चर विशेष रूप से कमजोर हैं, डेवलपर्स सरलता और दृढ़ संकल्प के साथ जवाब दे रहे हैं। TechCrunch ने पिछले हफ्ते इस बात पर प्रकाश डाला कि कुछ तकनीकी कंपनियां आगे बढ़ रही हैं। उदाहरण के लिए, CloudFlare ने AI लेबिरिंथ पेश किया, जिसे AI- जनित सामग्री के साथ क्रॉलर को धीमा करने के लिए डिज़ाइन किया गया था।

फिर भी, यह बिल्ली और माउस का एक निरंतर खेल बना हुआ है, एक जो कई प्रकाशकों को लॉगिन और पेवॉल से पीछे हटने के लिए धक्का दे सकता है, अंततः वेब की खुली प्रकृति को नुकसान पहुंचाता है, जिस पर हम सभी पर भरोसा करते हैं।