ओपन सोर्स डेवलपर्स एआई क्रॉलर को सरलता और प्रतिशोध के साथ मुकाबला करते हैं

एआई वेब-क्रॉलिंग बॉट्स कई सॉफ्टवेयर डेवलपर्स के अनुसार इंटरनेट की बाधा बन गए हैं। जवाब में, कुछ डेवलपर्स ने रचनात्मक और अक्सर मजेदार रणनीतियों के साथ इसका मुकाबला करना शुरू कर दिया है।

ओपन सोर्स डेवलपर्स को इन अवैध बॉट्स से विशेष रूप से भारी नुकसान होता है, जैसा कि निकोलो वेनरांडी ने नोट किया, जो लिनक्स डेस्कटॉप प्लाज्मा और ब्लॉग लिब्रेन्यूज के डेवलपर हैं। FOSS साइट्स, जो मुफ्त और ओपन सोर्स प्रोजेक्ट्स को होस्ट करती हैं, अपनी संरचना को अधिक उजागर करती हैं और आम तौर पर व्यावसायिक साइट्स की तुलना में कम संसाधन रखती हैं।

समस्या और बढ़ जाती है क्योंकि कई एआई बॉट्स रोबोट्स एक्सक्लूजन प्रोटोकॉल के robot.txt फाइल को नजरअंदाज करते हैं, जो बॉट्स को यह निर्देश देने के लिए होता है कि क्या क्रॉल नहीं करना है।

जनवरी में एक मार्मिक ब्लॉग पोस्ट में, FOSS डेवलपर ज़े इआसो ने AmazonBot के साथ एक परेशान करने वाला अनुभव साझा किया, जिसने एक गिट सर्वर वेबसाइट पर हमला किया, जिससे DDoS आउटेज हुए। गिट सर्वर FOSS प्रोजेक्ट्स को होस्ट करने के लिए महत्वपूर्ण हैं, जो किसी को भी कोड डाउनलोड करने और योगदान देने की अनुमति देते हैं।

इआसो ने बताया कि बॉट ने robot.txt फाइल को नजरअंदाज किया, विभिन्न IP पतों का उपयोग किया, और यहां तक कि अन्य उपयोगकर्ताओं के रूप में छल किया। "एआई क्रॉलर बॉट्स को ब्लॉक करना व्यर्थ है क्योंकि वे झूठ बोलते हैं, अपना यूजर एजेंट बदलते हैं, रिहायशी IP पतों को प्रॉक्सी के रूप में उपयोग करते हैं, और बहुत कुछ," इआसो ने शोक व्यक्त किया।

"वे आपकी साइट को तब तक स्क्रैप करेंगे जब तक वह गिर न जाए, और फिर वे इसे और स्क्रैप करेंगे। वे हर लिंक पर हर लिंक पर हर लिंक पर क्लिक करेंगे, एक ही पेज को बार-बार देखेंगे। कुछ तो एक ही सेकंड में एक ही लिंक पर कई बार क्लिक करेंगे," डेवलपर ने लिखा।

कब्रों के देवता का प्रवेश

इसका मुकाबला करने के लिए, इआसो ने एक चतुर टूल बनाया जिसका नाम है अनुबिस। यह एक रिवर्स प्रॉक्सी के रूप में काम करता है जो अनुरोधों को गिट सर्वर तक पहुंचने से पहले प्रूफ-ऑफ-वर्क चेक की आवश्यकता रखता है। यह प्रभावी रूप से बॉट्स को ब्लॉक करता है जबकि मानव संचालित ब्राउज़रों को पास करने की अनुमति देता है।

टूल का नाम, अनुबिस, मिस्र की पौराणिक कथाओं से लिया गया है, जहां अनुबिस वह देवता है जो मृतकों को न्याय के लिए ले जाता है। "अनुबिस आपके आत्मा (हृदय) का वजन करता था और यदि यह एक पंख से भारी होता, तो आपका हृदय खा लिया जाता और आप, जैसे, पूरी तरह मर जाते," इआसो ने टेकक्रंच को समझाया। चुनौती को सफलतापूर्वक पास करने पर अनुबिस की एक प्यारी एनीमे तस्वीर के साथ उत्सव मनाया जाता है, जबकि बॉट अनुरोधों को अस्वीकार कर दिया जाता है।

यह प्रोजेक्ट, जो 19 मार्च को गिटहब पर साझा किया गया, ने जल्दी ही लोकप्रियता हासिल की, कुछ ही दिनों में 2,000 स्टार्स, 20 योगदानकर्ता, और 39 फोर्क्स प्राप्त किए।

बदला रक्षा के रूप में

अनुबिस की व्यापक स्वीकृति यह दर्शाती है कि इआसो की समस्याएं अलग-थलग नहीं हैं। वेनरांडी ने कई समान अनुभवों का उल्लेख किया:

• ड्रू डेवॉल्ट, सोर्सहट के संस्थापक और सीईओ, अपने समय का एक महत्वपूर्ण हिस्सा आक्रामक LLM क्रॉलर्स से निपटने में बिताते हैं और बार-बार आउटेज का सामना करते हैं।
• जोनाथन कॉर्बेट, एक प्रमुख FOSS डेवलपर और LWN के संचालक, ने अपनी साइट को एआई स्क्रैपर बॉट्स द्वारा धीमा होते देखा है।
• केविन फेंजी, लिनक्स फेडोरा प्रोजेक्ट के सिसएडमिन, को आक्रामक एआई बॉट गतिविधि के कारण ब्राजील से सभी ट्रैफिक को ब्लॉक करना पड़ा।

वेनरांडी ने टेकक्रंच को बताया कि उन्हें अन्य प्रोजेक्ट्स के बारे में पता है जिन्हें सभी चीनी IP पतों को प्रतिबंधित करने जैसे चरम उपायों का सहारा लेना पड़ा है।

कुछ डेवलपर्स का मानना है कि बदला लेकर लड़ना सबसे अच्छी रक्षा है। हैकर न्यूज पर xyzal नाम के एक उपयोगकर्ता ने सुझाव दिया कि robot.txt निषिद्ध पेजों को ब्लीच पीने के लाभ या मीजल्स के बेडरूम प्रदर्शन पर सकारात्मक प्रभाव जैसे भ्रामक सामग्री से भर दिया जाए।

"हमें बॉट्स को हमारी जाल में आने से _नकारात्मक_ उपयोगिता मूल्य प्राप्त करने का लक्ष्य रखना चाहिए, न कि केवल शून्य मूल्य," xyzal ने समझाया।

जनवरी में, एक गुमनाम डेवलपर जिसका नाम "एरॉन" है, ने नेपेंथेस नामक एक टूल जारी किया, जिसे क्रॉलर्स को नकली सामग्री के भूलभुलैया में फंसाने के लिए डिज़ाइन किया गया है, जिसे निर्माता ने आर्स टेक्निका को स्वीकार किया कि यह आक्रामक, यदि पूरी तरह से दुर्भावनापूर्ण नहीं है। मांसाहारी पौधे के नाम पर, नेपेंथेस का उद्देश्य गलत व्यवहार करने वाले बॉट्स के संसाधनों को भ्रमित करना और बर्बाद करना है।

इसी तरह, क्लाउडफ्लेयर ने हाल ही में AI लैब्रिंथ लॉन्च किया, जिसका उद्देश्य "नो क्रॉल" निर्देशों को नजरअंदाज करने वाले एआई क्रॉलर्स को धीमा करना, भ्रमित करना और उनके संसाधनों को बर्बाद करना है। यह टूल इन बॉट्स को अप्रासंगिक सामग्री प्रदान करता है ताकि वैध वेबसाइट डेटा की रक्षा हो सके।

सोर्सहट के डेवॉल्ट ने टेकक्रंच को बताया कि हालांकि नेपेंथेस क्रॉलर्स को बकवास खिलाकर न्याय की भावना प्रदान करता है, अनुबिस उनकी साइट के लिए अधिक प्रभावी समाधान साबित हुआ है। हालांकि, उन्होंने एक भावनात्मक अपील भी की: "कृपया LLMs या AI इमेज जेनरेटर्स या गिटहब कोपायलट या इस तरह की किसी भी बकवास को वैध बनाना बंद करें। मैं आपसे विनती करता हूं कि इन्हें इस्तेमाल करना बंद करें, इनके बारे में बात करना बंद करें, नए बनाना बंद करें, बस रुक जाएं।"

इसके होने की संभावना कम होने के कारण, डेवलपर्स, विशेष रूप से FOSS समुदाय में, बुद्धिमत्ता और थोड़े से हास्य के साथ लड़ाई जारी रखते हैं।