思科警告：流氓的微調LLMS的可能性高22倍

# cisco # LLMs # APIs # saas # csco # goog-2 # msft-2 # nvda-2 # darkgpt # darkweb # fraudgpt # ghostgpt # zeroday

武器化的大語言模型重塑網絡攻擊

網絡攻擊的景觀正在發生重大的轉變，這是由於武器化大語模型（LLM）的出現而驅動的。這些高級模型，例如欺詐，Ghostgpt和Darkgpt，正在重塑網絡犯罪分子的策略，並迫使首席信息安全官（CISO）重新考慮其安全協議。這些LLM具有自動化偵察，模仿身份和逃避檢測的能力，可以以前所未有的規模加速社會工程攻擊。

這些型號的價格低至每月75美元，是針對進攻性使用的，促進了網絡釣魚，發電，代碼混淆，漏洞掃描和信用卡驗證等任務。網絡犯罪集團，集團甚至民族國家都在利用這些工具，將其作為平台，套件和租賃服務提供。與合法的軟件服務（SaaS）應用程序一樣，武器化的LLMS帶有儀表板，API，常規更新，有時甚至是客戶支持。

VentureBeat正在密切監視這些武器化LLM的快速發展。隨著它們的複雜性的增長，開發人員平台和網絡犯罪套件之間的區別越來越模糊。隨著租約和租金價格的下跌，更多的攻擊者正在探索這些平台，並預示著AI驅動威脅的新時代。

合法的LLM受到威脅

武器化的LLM的擴散已經達到了即使是合法的LLM也有被妥協並融入刑事工具鏈的風險。根據思科的《 AI安全狀況報告》 ，精細調整的LLM產生有害產出的可能性是其基本同行的22倍。雖然微調對於增強上下文相關性至關重要，但它還削弱了安全措施，使模型更容易受到越獄，及時的注射和模型反演。

思科的研究強調，生產模型的精製越多，它就越脆弱。涉及微調的核心過程，例如持續調整，第三方集成，編碼，測試和代理編排，為攻擊者創造了新的途徑。進入室內後，攻擊者可以快速毒化數據，劫持基礎架構，改變代理行為，並大規模提取培訓數據。如果沒有其他安全層，這些精心調整的模型可以迅速成為責任，攻擊者剝削成熟。

微調LLM：雙刃劍

思科的安全團隊對微調對多種模型的影響進行了廣泛的研究，包括Llama-2-7B和Microsoft的特定於域的Adapt LLM。他們的測試跨越了各個部門，包括醫療保健，金融和法律。一個關鍵的發現是，即使使用乾淨的數據集進行微調，也破壞了模型的一致性，尤其是在諸如生物醫學和法律之類的高度調節領域。

儘管微調旨在提高任務績效，但它無意中破壞了內置的安全控制。越獄的嘗試通常會反對基礎模型，以更高的速度與微調版本取得了成功，尤其是在具有嚴格合規性要求的敏感域中。結果是鮮明的：與基礎模型相比，越獄的成功率增加了兩倍，惡意產出的產生增加了2200％。這種權衡意味著，儘管微調增強了效用，但它也大大拓寬了攻擊表面。

惡意LLMS的商品化

思科塔洛斯（Cisco Talos）一直在積極跟踪這些黑人市場LLM的興起，從而提供了對其業務的見解。像Ghostgpt，Darkgpt和Fraudgpt這樣的模型可在Telegram和Dark Web上提供每月75美元。這些工具旨在用於網絡釣魚，利用開發，信用卡驗證和混淆。

與具有內置安全功能的主流型號不同，這些惡意的LLM被預先配置用於進攻性操作，並帶有模仿商業SaaS產品的API，更新和儀表板。

數據集中毒：對AI供應鏈的60美元威脅

思科研究人員與Google，Eth Zurich和Nvidia合作，透露，只有60美元，攻擊者就可以毒化AI模型的基礎數據集而無需零日的利用。通過在數據集歸檔期間利用已過期的域或定時Wikipedia編輯，攻擊者可以污染高達0.01％的數據集，例如LAION-400M或COYO-700M，從而顯著影響下游LLMS。

諸如分裂視圖中毒和領先攻擊之類的方法利用了網絡爬行數據的固有信任。隨著大多數企業LLM在開放數據上構建，這些攻擊可以安靜地擴展並持續到推理管道中，從而對AI供應鏈構成嚴重威脅。

分解攻擊：提取敏感數據

思科研究中最令人震驚的發現之一是LLM能夠洩漏敏感訓練數據而不觸發安全機制的能力。使用一種稱為分解提示的技術，研究人員從《紐約時報》和《華爾街日報》中重建了20％以上的精選文章。此方法將提示分解為由護欄認為安全的子征服，然後重新組裝輸出以重新創建付費或受版權保護的內容。

這種類型的攻擊對企業構成了重大風險，尤其是那些使用專有或有執照數據集培訓的LLM的攻擊風險。漏洞不是在輸入級別而是通過模型的輸出發生，因此難以檢測，審核或包含。對於醫療保健，金融或法律等受監管部門的組織，這不僅引起了對GDPR，HIPAA或CCPA合規性的擔憂，而且還引入了一種新的風險，可以通過推理來暴露合法的數據。

最終想法：LLM作為新攻擊表面

思科正在進行的研究和Talos的Dark Web監控證實，武器化的LLM越來越複雜，價格和包裝戰在黑暗的網絡上展開。研究結果強調了LLM不僅是企業邊緣的工具。它們是其核心不可或缺的。從與微調相關的風險到數據集中毒和模型輸出洩漏，攻擊者將LLMS視為要利用的關鍵基礎設施。

思科報告的關鍵要點很明確：靜態護欄不再足夠。 CISO和安全領導者必須在其整個IT遺產中獲得實時可見性，增強對抗性測試，並簡化其技術堆棧，以保持這些不斷發展的威脅的步伐。他們必須認識到，LLM和模型代表了動態攻擊表面，隨著它們的微調，它們變得越來越脆弱。

相關文章

評論 (30)