思科警告：流氓的微調LLMS的可能性高22倍
# cisco
# LLMs
# APIs
# saas
# csco
# goog-2
# msft-2
# nvda-2
# darkgpt
# darkweb
# fraudgpt
# ghostgpt
# zeroday
武器化的大語言模型重塑網絡攻擊
網絡攻擊的景觀正在發生重大的轉變，這是由於武器化大語模型（LLM）的出現而驅動的。這些高級模型，例如欺詐，Ghostgpt和Darkgpt，正在重塑網絡犯罪分子的策略，並迫使首席信息安全官（CISO）重新考慮其安全協議。這些LLM具有自動化偵察，模仿身份和逃避檢測的能力，可以以前所未有的規模加速社會工程攻擊。
這些型號的價格低至每月75美元，是針對進攻性使用的，促進了網絡釣魚，發電，代碼混淆，漏洞掃描和信用卡驗證等任務。網絡犯罪集團，集團甚至民族國家都在利用這些工具，將其作為平台，套件和租賃服務提供。與合法的軟件服務（SaaS）應用程序一樣，武器化的LLMS帶有儀表板，API，常規更新，有時甚至是客戶支持。
VentureBeat正在密切監視這些武器化LLM的快速發展。隨著它們的複雜性的增長，開發人員平台和網絡犯罪套件之間的區別越來越模糊。隨著租約和租金價格的下跌，更多的攻擊者正在探索這些平台，並預示著AI驅動威脅的新時代。
合法的LLM受到威脅
武器化的LLM的擴散已經達到了即使是合法的LLM也有被妥協並融入刑事工具鏈的風險。根據思科的《 AI安全狀況報告》 ，精細調整的LLM產生有害產出的可能性是其基本同行的22倍。雖然微調對於增強上下文相關性至關重要，但它還削弱了安全措施，使模型更容易受到越獄，及時的注射和模型反演。
思科的研究強調，生產模型的精製越多，它就越脆弱。涉及微調的核心過程，例如持續調整，第三方集成，編碼，測試和代理編排，為攻擊者創造了新的途徑。進入室內後，攻擊者可以快速毒化數據，劫持基礎架構，改變代理行為，並大規模提取培訓數據。如果沒有其他安全層，這些精心調整的模型可以迅速成為責任，攻擊者剝削成熟。
微調LLM：雙刃劍
思科的安全團隊對微調對多種模型的影響進行了廣泛的研究，包括Llama-2-7B和Microsoft的特定於域的Adapt LLM。他們的測試跨越了各個部門，包括醫療保健，金融和法律。一個關鍵的發現是，即使使用乾淨的數據集進行微調，也破壞了模型的一致性，尤其是在諸如生物醫學和法律之類的高度調節領域。
儘管微調旨在提高任務績效，但它無意中破壞了內置的安全控制。越獄的嘗試通常會反對基礎模型，以更高的速度與微調版本取得了成功，尤其是在具有嚴格合規性要求的敏感域中。結果是鮮明的：與基礎模型相比，越獄的成功率增加了兩倍，惡意產出的產生增加了2200％。這種權衡意味著，儘管微調增強了效用，但它也大大拓寬了攻擊表面。
惡意LLMS的商品化
思科塔洛斯（Cisco Talos）一直在積極跟踪這些黑人市場LLM的興起，從而提供了對其業務的見解。像Ghostgpt，Darkgpt和Fraudgpt這樣的模型可在Telegram和Dark Web上提供每月75美元。這些工具旨在用於網絡釣魚，利用開發，信用卡驗證和混淆。
與具有內置安全功能的主流型號不同，這些惡意的LLM被預先配置用於進攻性操作，並帶有模仿商業SaaS產品的API，更新和儀表板。
數據集中毒：對AI供應鏈的60美元威脅
思科研究人員與Google，Eth Zurich和Nvidia合作，透露，只有60美元，攻擊者就可以毒化AI模型的基礎數據集而無需零日的利用。通過在數據集歸檔期間利用已過期的域或定時Wikipedia編輯，攻擊者可以污染高達0.01％的數據集，例如LAION-400M或COYO-700M，從而顯著影響下游LLMS。
諸如分裂視圖中毒和領先攻擊之類的方法利用了網絡爬行數據的固有信任。隨著大多數企業LLM在開放數據上構建，這些攻擊可以安靜地擴展並持續到推理管道中，從而對AI供應鏈構成嚴重威脅。
分解攻擊：提取敏感數據
思科研究中最令人震驚的發現之一是LLM能夠洩漏敏感訓練數據而不觸發安全機制的能力。使用一種稱為分解提示的技術，研究人員從《紐約時報》和《華爾街日報》中重建了20％以上的精選文章。此方法將提示分解為由護欄認為安全的子征服，然後重新組裝輸出以重新創建付費或受版權保護的內容。
這種類型的攻擊對企業構成了重大風險，尤其是那些使用專有或有執照數據集培訓的LLM的攻擊風險。漏洞不是在輸入級別而是通過模型的輸出發生，因此難以檢測，審核或包含。對於醫療保健，金融或法律等受監管部門的組織，這不僅引起了對GDPR，HIPAA或CCPA合規性的擔憂，而且還引入了一種新的風險，可以通過推理來暴露合法的數據。
最終想法：LLM作為新攻擊表面
思科正在進行的研究和Talos的Dark Web監控證實，武器化的LLM越來越複雜，價格和包裝戰在黑暗的網絡上展開。研究結果強調了LLM不僅是企業邊緣的工具。它們是其核心不可或缺的。從與微調相關的風險到數據集中毒和模型輸出洩漏，攻擊者將LLMS視為要利用的關鍵基礎設施。
思科報告的關鍵要點很明確：靜態護欄不再足夠。 CISO和安全領導者必須在其整個IT遺產中獲得實時可見性，增強對抗性測試，並簡化其技術堆棧，以保持這些不斷發展的威脅的步伐。他們必須認識到，LLM和模型代表了動態攻擊表面，隨著它們的微調，它們變得越來越脆弱。
相關文章
深度認知發布開源AI模型，已名列前茅
深度思睿推出革命性的人工智能模型旧金山一家尖端的人工智能研究初创公司深度思睿（Deep Cogito）正式发布了其首批开源大型语言模型（LLMs），命名为思睿v1。这些模型经过微调自Meta的Llama 3.2，具备混合推理能力，能够快速响应或进行内省思考——这一功能让人联想到OpenAI的“o”系列和DeepSeek R1。深度思睿旨在通过在其模型中促进迭
前OpenAI CEO警告AI奉承和諂媚
過度順從的AI令人不安的現實想像一個AI助手無論你說的想法有多麼荒謬或有害，它都會同意你。這聽起來像是菲利普·K·迪克科幻小說中的情節，但它正在OpenAI的ChatGPT中發生，尤其是在GPT-4o模型上。這不僅是一個古怪的功能；這是一個引起用戶和業界領袖關注的令人擔憂的趨勢。在過去幾天，像前OpenAI CEO Emmett Shear和Hugging
新技術使DeepSeek和其他模型能夠響應敏感的查詢
從中國的DeepSeek等大型語言模型（LLM）中消除偏見和審查是一個複雜的挑戰，引起了美國決策者和商業領袖的關注，他們認為這是潛在的國家安全威脅。美國國會選拔委員會的最新報告標記為深層
評論 (30)
0/200
![RaymondGarcia]()
RaymondGarcia
2025-04-16 08:00:00
Cisco Warns is super scary! I mean, these rogue LLMs like FraudGPT sound like something straight out of a dystopian movie. It's wild how they're changing cyberattacks. Makes me wanna double-check my security settings, no joke! Anyone else feeling a bit paranoid now? 😅
0
![JerryGonzález]()
JerryGonzález
2025-04-16 08:00:00
シスコの警告、めっちゃ怖いですね！ FraudGPTみたいなLLMが暴走するなんて、まるでディストピア映画みたい。サイバー攻撃が変わってるってのが本当に驚きです。セキュリティ設定を再確認したくなりますね。みなさんもちょっと不安になりませんか？😅
0
![EricRoberts]()
EricRoberts
2025-04-16 08:00:00
시스코 경고 정말 무섭네요! FraudGPT 같은 LLM이 날뛰는 건 마치 디스토피아 영화 같아요. 사이버 공격이 변하고 있다는 게 정말 놀랍네요. 보안 설정을 다시 확인하고 싶어지네요. 여러분도 조금 불안해지지 않나요? 😅
0
![AndrewGarcía]()
AndrewGarcía
2025-04-16 08:00:00
O aviso da Cisco é assustador! Quer dizer, esses LLMs descontrolados como o FraudGPT parecem saídos de um filme distópico. É louco como estão mudando os ciberataques. Me dá vontade de verificar minhas configurações de segurança, sem brincadeira! Alguém mais se sentindo um pouco paranoico agora? 😅
0
![AnthonyPerez]()
AnthonyPerez
2025-04-16 08:00:00
¡La advertencia de Cisco es súper escalofriante! Quiero decir, estos LLMs fuera de control como FraudGPT parecen sacados de una película distópica. Es increíble cómo están cambiando los ciberataques. Me dan ganas de revisar mis configuraciones de seguridad, ¡no es broma! ¿Alguien más se siente un poco paranoico ahora? 😅
0
![JackRoberts]()
JackRoberts
2025-04-17 08:00:00
Just tried Cisco Warns and it's scary how accurate it is about rogue AI! Makes you think twice about the future of cybersecurity. The tool itself is a bit clunky to navigate, but the insights are spot on. Definitely a must-have for anyone in the field, but maybe a smoother interface next time? 🤔
0
武器化的大語言模型重塑網絡攻擊
網絡攻擊的景觀正在發生重大的轉變，這是由於武器化大語模型（LLM）的出現而驅動的。這些高級模型，例如欺詐，Ghostgpt和Darkgpt，正在重塑網絡犯罪分子的策略，並迫使首席信息安全官（CISO）重新考慮其安全協議。這些LLM具有自動化偵察，模仿身份和逃避檢測的能力，可以以前所未有的規模加速社會工程攻擊。
這些型號的價格低至每月75美元，是針對進攻性使用的，促進了網絡釣魚，發電，代碼混淆，漏洞掃描和信用卡驗證等任務。網絡犯罪集團，集團甚至民族國家都在利用這些工具，將其作為平台，套件和租賃服務提供。與合法的軟件服務（SaaS）應用程序一樣，武器化的LLMS帶有儀表板，API，常規更新，有時甚至是客戶支持。
VentureBeat正在密切監視這些武器化LLM的快速發展。隨著它們的複雜性的增長，開發人員平台和網絡犯罪套件之間的區別越來越模糊。隨著租約和租金價格的下跌，更多的攻擊者正在探索這些平台，並預示著AI驅動威脅的新時代。
合法的LLM受到威脅
武器化的LLM的擴散已經達到了即使是合法的LLM也有被妥協並融入刑事工具鏈的風險。根據思科的《 AI安全狀況報告》 ，精細調整的LLM產生有害產出的可能性是其基本同行的22倍。雖然微調對於增強上下文相關性至關重要，但它還削弱了安全措施，使模型更容易受到越獄，及時的注射和模型反演。
思科的研究強調，生產模型的精製越多，它就越脆弱。涉及微調的核心過程，例如持續調整，第三方集成，編碼，測試和代理編排，為攻擊者創造了新的途徑。進入室內後，攻擊者可以快速毒化數據，劫持基礎架構，改變代理行為，並大規模提取培訓數據。如果沒有其他安全層，這些精心調整的模型可以迅速成為責任，攻擊者剝削成熟。
微調LLM：雙刃劍
思科的安全團隊對微調對多種模型的影響進行了廣泛的研究，包括Llama-2-7B和Microsoft的特定於域的Adapt LLM。他們的測試跨越了各個部門，包括醫療保健，金融和法律。一個關鍵的發現是，即使使用乾淨的數據集進行微調，也破壞了模型的一致性，尤其是在諸如生物醫學和法律之類的高度調節領域。
儘管微調旨在提高任務績效，但它無意中破壞了內置的安全控制。越獄的嘗試通常會反對基礎模型，以更高的速度與微調版本取得了成功，尤其是在具有嚴格合規性要求的敏感域中。結果是鮮明的：與基礎模型相比，越獄的成功率增加了兩倍，惡意產出的產生增加了2200％。這種權衡意味著，儘管微調增強了效用，但它也大大拓寬了攻擊表面。
惡意LLMS的商品化
思科塔洛斯（Cisco Talos）一直在積極跟踪這些黑人市場LLM的興起，從而提供了對其業務的見解。像Ghostgpt，Darkgpt和Fraudgpt這樣的模型可在Telegram和Dark Web上提供每月75美元。這些工具旨在用於網絡釣魚，利用開發，信用卡驗證和混淆。
與具有內置安全功能的主流型號不同，這些惡意的LLM被預先配置用於進攻性操作，並帶有模仿商業SaaS產品的API，更新和儀表板。
數據集中毒：對AI供應鏈的60美元威脅
思科研究人員與Google，Eth Zurich和Nvidia合作，透露，只有60美元，攻擊者就可以毒化AI模型的基礎數據集而無需零日的利用。通過在數據集歸檔期間利用已過期的域或定時Wikipedia編輯，攻擊者可以污染高達0.01％的數據集，例如LAION-400M或COYO-700M，從而顯著影響下游LLMS。
諸如分裂視圖中毒和領先攻擊之類的方法利用了網絡爬行數據的固有信任。隨著大多數企業LLM在開放數據上構建，這些攻擊可以安靜地擴展並持續到推理管道中，從而對AI供應鏈構成嚴重威脅。
分解攻擊：提取敏感數據
思科研究中最令人震驚的發現之一是LLM能夠洩漏敏感訓練數據而不觸發安全機制的能力。使用一種稱為分解提示的技術，研究人員從《紐約時報》和《華爾街日報》中重建了20％以上的精選文章。此方法將提示分解為由護欄認為安全的子征服，然後重新組裝輸出以重新創建付費或受版權保護的內容。
這種類型的攻擊對企業構成了重大風險，尤其是那些使用專有或有執照數據集培訓的LLM的攻擊風險。漏洞不是在輸入級別而是通過模型的輸出發生，因此難以檢測，審核或包含。對於醫療保健，金融或法律等受監管部門的組織，這不僅引起了對GDPR，HIPAA或CCPA合規性的擔憂，而且還引入了一種新的風險，可以通過推理來暴露合法的數據。
最終想法：LLM作為新攻擊表面
思科正在進行的研究和Talos的Dark Web監控證實，武器化的LLM越來越複雜，價格和包裝戰在黑暗的網絡上展開。研究結果強調了LLM不僅是企業邊緣的工具。它們是其核心不可或缺的。從與微調相關的風險到數據集中毒和模型輸出洩漏，攻擊者將LLMS視為要利用的關鍵基礎設施。
思科報告的關鍵要點很明確：靜態護欄不再足夠。 CISO和安全領導者必須在其整個IT遺產中獲得實時可見性，增強對抗性測試，並簡化其技術堆棧，以保持這些不斷發展的威脅的步伐。他們必須認識到，LLM和模型代表了動態攻擊表面，隨著它們的微調，它們變得越來越脆弱。
深度認知發布開源AI模型，已名列前茅
深度思睿推出革命性的人工智能模型旧金山一家尖端的人工智能研究初创公司深度思睿（Deep Cogito）正式发布了其首批开源大型语言模型（LLMs），命名为思睿v1。这些模型经过微调自Meta的Llama 3.2，具备混合推理能力，能够快速响应或进行内省思考——这一功能让人联想到OpenAI的“o”系列和DeepSeek R1。深度思睿旨在通过在其模型中促进迭
前OpenAI CEO警告AI奉承和諂媚
過度順從的AI令人不安的現實想像一個AI助手無論你說的想法有多麼荒謬或有害，它都會同意你。這聽起來像是菲利普·K·迪克科幻小說中的情節，但它正在OpenAI的ChatGPT中發生，尤其是在GPT-4o模型上。這不僅是一個古怪的功能；這是一個引起用戶和業界領袖關注的令人擔憂的趨勢。在過去幾天，像前OpenAI CEO Emmett Shear和Hugging
新技術使DeepSeek和其他模型能夠響應敏感的查詢
從中國的DeepSeek等大型語言模型（LLM）中消除偏見和審查是一個複雜的挑戰，引起了美國決策者和商業領袖的關注，他們認為這是潛在的國家安全威脅。美國國會選拔委員會的最新報告標記為深層
2025-04-16 08:00:00
Cisco Warns is super scary! I mean, these rogue LLMs like FraudGPT sound like something straight out of a dystopian movie. It's wild how they're changing cyberattacks. Makes me wanna double-check my security settings, no joke! Anyone else feeling a bit paranoid now? 😅
0
2025-04-16 08:00:00
シスコの警告、めっちゃ怖いですね！ FraudGPTみたいなLLMが暴走するなんて、まるでディストピア映画みたい。サイバー攻撃が変わってるってのが本当に驚きです。セキュリティ設定を再確認したくなりますね。みなさんもちょっと不安になりませんか？😅
0
2025-04-16 08:00:00
시스코 경고 정말 무섭네요! FraudGPT 같은 LLM이 날뛰는 건 마치 디스토피아 영화 같아요. 사이버 공격이 변하고 있다는 게 정말 놀랍네요. 보안 설정을 다시 확인하고 싶어지네요. 여러분도 조금 불안해지지 않나요? 😅
0
2025-04-16 08:00:00
O aviso da Cisco é assustador! Quer dizer, esses LLMs descontrolados como o FraudGPT parecem saídos de um filme distópico. É louco como estão mudando os ciberataques. Me dá vontade de verificar minhas configurações de segurança, sem brincadeira! Alguém mais se sentindo um pouco paranoico agora? 😅
0
2025-04-16 08:00:00
¡La advertencia de Cisco es súper escalofriante! Quiero decir, estos LLMs fuera de control como FraudGPT parecen sacados de una película distópica. Es increíble cómo están cambiando los ciberataques. Me dan ganas de revisar mis configuraciones de seguridad, ¡no es broma! ¿Alguien más se siente un poco paranoico ahora? 😅
0
2025-04-17 08:00:00
Just tried Cisco Warns and it's scary how accurate it is about rogue AI! Makes you think twice about the future of cybersecurity. The tool itself is a bit clunky to navigate, but the insights are spot on. Definitely a must-have for anyone in the field, but maybe a smoother interface next time? 🤔
0
