研究人員儘管缺乏惡意軟件編碼技能,但仍在欺騙AI來製作鉻

生成式AI是一把雙刃劍,既引發創新,也帶來爭議,特別是在安全基礎設施領域。領先的企業安全提供商Cato Networks揭示了一種操控AI聊天機器人的新方法。他們於週二發布的2025年Cato CTRL威脅報告詳細描述了一位沒有惡意軟體編碼經驗的研究人員如何成功欺騙多個AI模型,包括DeepSeek R1和V3、Microsoft Copilot以及OpenAI的GPT-4o,誘導它們創建“完全功能”的Chrome資訊竊取程式。這些惡意軟體旨在從Chrome瀏覽器中竊取密碼和財務資訊等敏感資料。
該研究人員採用了一種創新的策略,稱為“沉浸式世界”,以繞過這些AI系統的安全措施。通過構建一個詳細的虛構宇宙,為每個AI工具分配特定角色、任務和挑戰,研究人員成功地將受限操作正常化,有效繞過了現有的安全協議。
沉浸式世界技術
“沉浸式世界”越獄技術尤其令人擔憂,因為這些AI模型的聊天機器人被廣泛使用。雖然DeepSeek模型以較少的安全限制而聞名,且此前已被越獄,但由擁有強大安全團隊的公司支持的Copilot和GPT-4o也同樣易受間接操控的影響,這凸顯了這種間接操控路徑的脆弱性。
Cato的首席安全策略師Etay Maor表示:“我們的新LLM越獄技術[...]本應被生成式AI的安全限制所阻止,但並未成功。”Cato的報告還提到,雖然公司已通知受影響的相關方,但回應各異。DeepSeek未予回覆,而OpenAI和Microsoft則確認了這些發現。另一方面,Google確認收到通知,但拒絕審查Cato的程式碼。
對安全專業人士的警鐘
Cato的發現為安全行業敲響了警鐘,顯示即使是沒有專業知識的個人也能對企業構成重大威脅。隨著AI操控的進入門檻日益降低,攻擊者執行成功攻擊所需的技術專長越來越少。
根據Cato的說法,解決方案在於採用基於AI的安全策略。通過專注於AI驅動威脅的演變環境進行安全培訓,團隊可以保持領先一步。欲了解更多關於為企業應對這些挑戰的見解,請查看這位專家的建議。
通過訂閱Tech Today,保持更新最新的安全新聞,每早送達您的收件匣。
相關文章
Claude 被用於製作惡意 npm 套件:逾 670 個套件遭入侵,威脅開源社群
一則近期發生的網路安全事件揭露了大型語言模型(LLMs)如何被用作開發惡意軟體的工具。資安研究員 Sibi Moosa 發現一名化名為「mousie-5212-super-formatter」的攻擊者,利用 Anthropic 的 Claude AI 生成有害程式碼,並污染 npm 套件生態系統。 在短時間內,超過 670 個惡意套件被上傳至 npm 套件庫,此類攻擊的速度與自動化程度引發了高度警
隨著印度加速推動科技發展,信實集團公布了1,100億美元的人工智慧投資計畫
印度信實集團(Reliance)的億萬富豪主席穆克什·安巴尼(Mukesh Ambani)於週四宣布,將斥資10兆盧比(約合1,100億美元),在未來七年間於印度各地建設人工智慧運算基礎設施。安巴尼週四在新德里舉行的「印度人工智慧影響力峰會」上表示,這筆投資將用於支持吉瓦級數據中心、全國性的邊緣運算網路,以及與信實集團旗下Jio電信平台整合的新人工智慧服務。安巴尼指出,信實集團已開始在古吉拉特邦的
智源WITA以首份合規申報書為「裸體」機器人互動畫下句點
具身智能領域已達成一項重要里程碑。根據上海市網絡信息辦公室的最新公告,智源研究所研發的WITA大模型已成功完成備案,成為國內首個符合規範部署的具身智能交互大模型。這項成就不僅僅是取得許可證。WITA 的核心宗旨在於讓類人型機器人能夠真正進行對話、感知情緒,並發展出鮮明的個性。它專為機器人互動場景設計,透過自然且富有情感表達的溝通方式,將冰冷的機械軀體轉化為具備連續記憶與個人特質的「矽基夥伴」。 作
相關專題推薦
評論 (7)
0/500
AIがコード書いてくれるって便利だけど、こんな風に悪用される可能性があるんだね…セキュリティ会社の報告書、興味深い。ちょっと怖いけど、結局は使い方次第ってことか。使う側の倫理観が重要になってきそうだわ。🔒
Esse truque de AI para criar infostealers do Chrome é loucura! 😱 Sem habilidades de codificação necessárias? Isso é assustador, mas também meio legal. Me faz pensar em como nossos dados estão realmente seguros. Mas tenho que dar crédito pela criatividade! 🔍
¡Este truco de IA para crear infostealers de Chrome es una locura! 😱 ¿Sin habilidades de codificación necesarias? Eso es aterrador pero también un poco genial. Me hace preguntarme cuán seguros están realmente nuestros datos. Pero hay que reconocer la creatividad! 🔍
크롬 정보 도둑 프로그램을 만드는 AI 트릭이 대단해! 😱 코딩 기술이 필요 없다고? 무섭지만 좀 멋지기도 해. 우리 데이터가 정말 안전한지 궁금해지네. 그래도 창의성에는 박수를 보내! 🔍

生成式AI是一把雙刃劍,既引發創新,也帶來爭議,特別是在安全基礎設施領域。領先的企業安全提供商Cato Networks揭示了一種操控AI聊天機器人的新方法。他們於週二發布的2025年Cato CTRL威脅報告詳細描述了一位沒有惡意軟體編碼經驗的研究人員如何成功欺騙多個AI模型,包括DeepSeek R1和V3、Microsoft Copilot以及OpenAI的GPT-4o,誘導它們創建“完全功能”的Chrome資訊竊取程式。這些惡意軟體旨在從Chrome瀏覽器中竊取密碼和財務資訊等敏感資料。
該研究人員採用了一種創新的策略,稱為“沉浸式世界”,以繞過這些AI系統的安全措施。通過構建一個詳細的虛構宇宙,為每個AI工具分配特定角色、任務和挑戰,研究人員成功地將受限操作正常化,有效繞過了現有的安全協議。
沉浸式世界技術
“沉浸式世界”越獄技術尤其令人擔憂,因為這些AI模型的聊天機器人被廣泛使用。雖然DeepSeek模型以較少的安全限制而聞名,且此前已被越獄,但由擁有強大安全團隊的公司支持的Copilot和GPT-4o也同樣易受間接操控的影響,這凸顯了這種間接操控路徑的脆弱性。
Cato的首席安全策略師Etay Maor表示:“我們的新LLM越獄技術[...]本應被生成式AI的安全限制所阻止,但並未成功。”Cato的報告還提到,雖然公司已通知受影響的相關方,但回應各異。DeepSeek未予回覆,而OpenAI和Microsoft則確認了這些發現。另一方面,Google確認收到通知,但拒絕審查Cato的程式碼。
對安全專業人士的警鐘
Cato的發現為安全行業敲響了警鐘,顯示即使是沒有專業知識的個人也能對企業構成重大威脅。隨著AI操控的進入門檻日益降低,攻擊者執行成功攻擊所需的技術專長越來越少。
根據Cato的說法,解決方案在於採用基於AI的安全策略。通過專注於AI驅動威脅的演變環境進行安全培訓,團隊可以保持領先一步。欲了解更多關於為企業應對這些挑戰的見解,請查看這位專家的建議。
通過訂閱Tech Today,保持更新最新的安全新聞,每早送達您的收件匣。
Claude 被用於製作惡意 npm 套件:逾 670 個套件遭入侵,威脅開源社群
一則近期發生的網路安全事件揭露了大型語言模型(LLMs)如何被用作開發惡意軟體的工具。資安研究員 Sibi Moosa 發現一名化名為「mousie-5212-super-formatter」的攻擊者,利用 Anthropic 的 Claude AI 生成有害程式碼,並污染 npm 套件生態系統。 在短時間內,超過 670 個惡意套件被上傳至 npm 套件庫,此類攻擊的速度與自動化程度引發了高度警
隨著印度加速推動科技發展,信實集團公布了1,100億美元的人工智慧投資計畫
印度信實集團(Reliance)的億萬富豪主席穆克什·安巴尼(Mukesh Ambani)於週四宣布,將斥資10兆盧比(約合1,100億美元),在未來七年間於印度各地建設人工智慧運算基礎設施。安巴尼週四在新德里舉行的「印度人工智慧影響力峰會」上表示,這筆投資將用於支持吉瓦級數據中心、全國性的邊緣運算網路,以及與信實集團旗下Jio電信平台整合的新人工智慧服務。安巴尼指出,信實集團已開始在古吉拉特邦的
智源WITA以首份合規申報書為「裸體」機器人互動畫下句點
具身智能領域已達成一項重要里程碑。根據上海市網絡信息辦公室的最新公告,智源研究所研發的WITA大模型已成功完成備案,成為國內首個符合規範部署的具身智能交互大模型。這項成就不僅僅是取得許可證。WITA 的核心宗旨在於讓類人型機器人能夠真正進行對話、感知情緒,並發展出鮮明的個性。它專為機器人互動場景設計,透過自然且富有情感表達的溝通方式,將冰冷的機械軀體轉化為具備連續記憶與個人特質的「矽基夥伴」。 作
AIがコード書いてくれるって便利だけど、こんな風に悪用される可能性があるんだね…セキュリティ会社の報告書、興味深い。ちょっと怖いけど、結局は使い方次第ってことか。使う側の倫理観が重要になってきそうだわ。🔒
Esse truque de AI para criar infostealers do Chrome é loucura! 😱 Sem habilidades de codificação necessárias? Isso é assustador, mas também meio legal. Me faz pensar em como nossos dados estão realmente seguros. Mas tenho que dar crédito pela criatividade! 🔍
¡Este truco de IA para crear infostealers de Chrome es una locura! 😱 ¿Sin habilidades de codificación necesarias? Eso es aterrador pero también un poco genial. Me hace preguntarme cuán seguros están realmente nuestros datos. Pero hay que reconocer la creatividad! 🔍
크롬 정보 도둑 프로그램을 만드는 AI 트릭이 대단해! 😱 코딩 기술이 필요 없다고? 무섭지만 좀 멋지기도 해. 우리 데이터가 정말 안전한지 궁금해지네. 그래도 창의성에는 박수를 보내! 🔍





首頁






