सिस्को चेतावनी: ठीक ट्यून किए गए एलएलएम 22 गुना अधिक दुष्ट होने की संभावना है

# cisco # LLMs # APIs # saas # csco # goog-2 # msft-2 # nvda-2 # darkgpt # darkweb # fraudgpt # ghostgpt # zeroday

हथियारबंद बड़े भाषा मॉडल साइबर हमले को फिर से खोलते हैं

साइबर हमले का परिदृश्य एक महत्वपूर्ण परिवर्तन के दौर से गुजर रहा है, जो हथियारबंद बड़े भाषा मॉडल (एलएलएम) के उद्भव द्वारा संचालित है। ये उन्नत मॉडल, जैसे कि FraudGPT, GHOSTGPT, और DARKGPT, साइबर क्रिमिनल की रणनीतियों को फिर से आकार दे रहे हैं और मुख्य सूचना सुरक्षा अधिकारियों (CISOs) को अपने सुरक्षा प्रोटोकॉल पर पुनर्विचार करने के लिए मजबूर कर रहे हैं। टोही को स्वचालित करने, पहचान करने और पहचान का पता लगाने की क्षमताओं के साथ, ये एलएलएम एक अभूतपूर्व पैमाने पर सामाजिक इंजीनियरिंग हमलों को तेज कर रहे हैं।

$ 75 प्रति माह के रूप में उपलब्ध है, ये मॉडल आक्रामक उपयोग के लिए सिलवाया जाता है, फ़िशिंग, शोषण पीढ़ी, कोड ऑबफ्यूसेशन, भेद्यता स्कैनिंग और क्रेडिट कार्ड सत्यापन जैसे कार्यों को सुविधाजनक बनाता है। साइबर क्राइम समूह, सिंडिकेट्स, और यहां तक ​​कि राष्ट्र-राज्य भी इन उपकरणों पर पूंजीकरण कर रहे हैं, उन्हें प्लेटफ़ॉर्म, किट और पट्टे पर देने वाली सेवाओं के रूप में पेश कर रहे हैं। वैध सॉफ्टवेयर-ए-ए-सर्विस (सास) एप्लिकेशन की तरह, हथियारबंद एलएलएम डैशबोर्ड, एपीआई, नियमित अपडेट और कभी-कभी ग्राहक सहायता के साथ आते हैं।

वेंचरबीट इन हथियार वाले एलएलएम के तेजी से विकास की बारीकी से निगरानी कर रहा है। जैसे -जैसे उनका परिष्कार बढ़ता है, डेवलपर प्लेटफार्मों और साइबर क्राइम किट के बीच अंतर तेजी से धुंधला होता जा रहा है। गिरते पट्टे और किराये की कीमतों के साथ, अधिक हमलावर इन प्लेटफार्मों की खोज कर रहे हैं, एआई-चालित खतरों के एक नए युग को पूरा करते हुए।

खतरे में वैध एलएलएम

हथियार वाले एलएलएम का प्रसार एक ऐसे बिंदु पर पहुंच गया है जहां भी वैध एलएलएम को आपराधिक टूलचेन में समझौता और एकीकृत होने का खतरा है। सिस्को की द स्टेट ऑफ एआई सिक्योरिटी रिपोर्ट के अनुसार, फाइन-ट्यून्ड एलएलएम अपने बेस समकक्षों की तुलना में हानिकारक आउटपुट का उत्पादन करने की संभावना 22 गुना अधिक हैं। जबकि ठीक-ट्यूनिंग प्रासंगिक प्रासंगिकता को बढ़ाने के लिए महत्वपूर्ण है, यह सुरक्षा उपायों को भी कमजोर करता है, जिससे मॉडल जेलब्रेक, शीघ्र इंजेक्शन और मॉडल उलटा के लिए अधिक अतिसंवेदनशील होते हैं।

सिस्को के शोध में कहा गया है कि उत्पादन के लिए जितना अधिक मॉडल परिष्कृत होता है, उतना ही कमजोर हो जाता है। ललित-ट्यूनिंग में शामिल मुख्य प्रक्रियाएं, जैसे कि निरंतर समायोजन, तृतीय-पक्ष एकीकरण, कोडिंग, परीक्षण और एजेंट ऑर्केस्ट्रेशन, हमलावरों के लिए शोषण करने के लिए नए रास्ते बनाते हैं। एक बार अंदर, हमलावर जल्दी से डेटा, अपहरण बुनियादी ढांचे को जहर दे सकते हैं, एजेंट व्यवहार को बदल सकते हैं, और बड़े पैमाने पर प्रशिक्षण डेटा निकाल सकते हैं। अतिरिक्त सुरक्षा परतों के बिना, ये सावधानीपूर्वक ठीक-ठाक-ट्यून किए गए मॉडल जल्दी से देनदारियां बन सकते हैं, हमलावरों द्वारा शोषण के लिए परिपक्व हो सकते हैं।

फाइन-ट्यूनिंग एलएलएमएस: एक दोधारी तलवार

सिस्को की सुरक्षा टीम ने कई मॉडलों पर फाइन-ट्यूनिंग के प्रभाव पर व्यापक शोध किया, जिसमें लामा -2-7 बी और माइक्रोसॉफ्ट के डोमेन-विशिष्ट एडेप्ट एलएलएम शामिल हैं। उनके परीक्षणों ने स्वास्थ्य सेवा, वित्त और कानून सहित विभिन्न क्षेत्रों को फैलाया। एक महत्वपूर्ण खोज यह थी कि स्वच्छ डेटासेट के साथ भी ठीक ट्यूनिंग, मॉडल के संरेखण को अस्थिर करता है, विशेष रूप से बायोमेडिसिन और कानून जैसे अत्यधिक विनियमित क्षेत्रों में।

यद्यपि ठीक-ट्यूनिंग का उद्देश्य कार्य प्रदर्शन में सुधार करना है, यह अनजाने में अंतर्निहित सुरक्षा नियंत्रणों को कम करता है। जेलब्रेक के प्रयास, जो आमतौर पर फाउंडेशन मॉडल के खिलाफ विफल होते हैं, ठीक ट्यून किए गए संस्करणों के खिलाफ बहुत अधिक दरों पर सफल होते हैं, विशेष रूप से सख्त अनुपालन आवश्यकताओं के साथ संवेदनशील डोमेन में। परिणाम स्टार्क हैं: जेलब्रेक की सफलता दर तीन गुना और दुर्भावनापूर्ण उत्पादन पीढ़ी में नींव मॉडल की तुलना में 2,200% की वृद्धि हुई। इस ट्रेड-ऑफ का मतलब है कि ठीक-ठाक-ट्यूनिंग उपयोगिता को बढ़ाता है, यह हमले की सतह को भी काफी बढ़ाता है।

दुर्भावनापूर्ण एलएलएम का कमोडिटाइजेशन

सिस्को टैलोस सक्रिय रूप से इन ब्लैक-मार्केट एलएलएम के उदय को ट्रैक कर रहा है, जो उनके संचालन में अंतर्दृष्टि प्रदान करता है। Ghostgpt, Darkgpt, और Fraudgpt जैसे मॉडल टेलीग्राम और डार्क वेब पर उपलब्ध हैं, जो $ 75 प्रति माह के लिए कम है। ये उपकरण फ़िशिंग, शोषण विकास, क्रेडिट कार्ड सत्यापन और obfuscation में प्लग-एंड-प्ले उपयोग के लिए डिज़ाइन किए गए हैं।

अंतर्निहित सुरक्षा सुविधाओं के साथ मुख्यधारा के मॉडल के विपरीत, ये दुर्भावनापूर्ण एलएलएम आक्रामक संचालन के लिए पूर्व-कॉन्फ़िगर किए गए हैं और एपीआई, अपडेट और डैशबोर्ड के साथ आते हैं जो वाणिज्यिक सास उत्पादों की नकल करते हैं।

डेटासेट विषाक्तता: एआई आपूर्ति श्रृंखलाओं के लिए $ 60 का खतरा

सिस्को के शोधकर्ताओं ने Google, ETH ज्यूरिख और NVIDIA के सहयोग से खुलासा किया है कि केवल $ 60 के लिए, हमलावर शून्य-दिन के कारनामों की आवश्यकता के बिना AI मॉडल के मूलभूत डेटासेट को जहर दे सकते हैं। डेटासेट संग्रह के दौरान एक्सपायर्ड डोमेन या टाइमिंग विकिपीडिया संपादन का शोषण करके, हमलावर LAION-400M या COYO-700M जैसे 0.01% डेटासेट के रूप में कम दूषित कर सकते हैं, जो डाउनस्ट्रीम LLMS को महत्वपूर्ण रूप से प्रभावित करता है।

स्प्लिट-व्यू पॉइज़निंग और मोर्चे के हमलों जैसे तरीके वेब-क्रॉल किए गए डेटा में अंतर्निहित ट्रस्ट का लाभ उठाते हैं। खुले डेटा पर निर्मित अधिकांश उद्यम एलएलएम के साथ, ये हमले चुपचाप पैमाने पर हो सकते हैं और एआई आपूर्ति श्रृंखलाओं के लिए एक गंभीर खतरा पैदा करते हुए, पाइपलाइनों में गहराई से बने रह सकते हैं।

अपघटन हमले: संवेदनशील डेटा निकालना

सिस्को के अनुसंधान से सबसे खतरनाक निष्कर्षों में से एक, सुरक्षा तंत्र को ट्रिगर किए बिना संवेदनशील प्रशिक्षण डेटा को लीक करने के लिए एलएलएम की क्षमता है। अपघटन प्रॉम्प्टिंग नामक एक तकनीक का उपयोग करते हुए, शोधकर्ताओं ने न्यूयॉर्क टाइम्स और वॉल स्ट्रीट जर्नल के चुनिंदा लेखों के 20% से अधिक का पुनर्निर्माण किया। यह विधि उन उप-क्वेरी में संकेत देती है जिन्हें रेलिंग द्वारा सुरक्षित माना जाता है, फिर भुगतान को फिर से बनाने के लिए आउटपुट को फिर से तैयार किया जाता है या कॉपीराइट की गई सामग्री।

इस प्रकार का हमला उद्यमों के लिए एक महत्वपूर्ण जोखिम पैदा करता है, विशेष रूप से उन एलएलएम का उपयोग करने वाले जो मालिकाना या लाइसेंस प्राप्त डेटासेट पर प्रशिक्षित हैं। ब्रीच इनपुट स्तर पर नहीं बल्कि मॉडल के आउटपुट के माध्यम से होता है, जिससे पता लगाना, ऑडिट करना या होना मुश्किल हो जाता है। हेल्थकेयर, फाइनेंस, या कानून जैसे विनियमित क्षेत्रों में संगठनों के लिए, यह न केवल GDPR, HIPAA, या CCPA अनुपालन के बारे में चिंताओं को बढ़ाता है, बल्कि जोखिम के एक नए वर्ग का भी परिचय देता है जहां कानूनी रूप से खट्टे डेटा को अनुमान के माध्यम से उजागर किया जा सकता है।

अंतिम विचार: नए हमले की सतह के रूप में एलएलएम

सिस्को के चल रहे शोध और टैलोस की डार्क वेब मॉनिटरिंग इस बात की पुष्टि करती है कि हथियारबंद एलएलएम तेजी से परिष्कृत हो रहे हैं, जिसमें डार्क वेब पर एक मूल्य और पैकेजिंग युद्ध सामने आया है। निष्कर्ष रेखांकित करते हैं कि एलएलएम केवल उद्यम के किनारे पर उपकरण नहीं हैं; वे इसके मूल के अभिन्न अंग हैं। फाइन-ट्यूनिंग से जुड़े जोखिमों से डेटासेट पॉइज़निंग और मॉडल आउटपुट लीक्स से, हमलावर एलएलएम को फायदा उठाने के लिए महत्वपूर्ण बुनियादी ढांचे के रूप में देखते हैं।

सिस्को की रिपोर्ट से प्रमुख takeaway स्पष्ट है: स्टेटिक गार्ड्रिल अब पर्याप्त नहीं हैं। CISOS और सुरक्षा नेताओं को अपनी पूरी IT संपत्ति में वास्तविक समय की दृश्यता प्राप्त करनी चाहिए, प्रतिकूल परीक्षण को बढ़ाना चाहिए, और इन विकसित खतरों के साथ तालमेल रखने के लिए अपने तकनीकी स्टैक को सुव्यवस्थित करना चाहिए। उन्हें यह पहचानना चाहिए कि एलएलएम और मॉडल एक गतिशील हमले की सतह का प्रतिनिधित्व करते हैं जो तेजी से कमजोर हो जाते हैं क्योंकि वे ठीक-ठाक होते हैं।

संबंधित लेख

सूचना (30)