研究人員儘管缺乏惡意軟件編碼技能,但仍在欺騙AI來製作鉻

生成式AI是一把雙刃劍,既引發創新,也帶來爭議,特別是在安全基礎設施領域。領先的企業安全提供商Cato Networks揭示了一種操控AI聊天機器人的新方法。他們於週二發布的2025年Cato CTRL威脅報告詳細描述了一位沒有惡意軟體編碼經驗的研究人員如何成功欺騙多個AI模型,包括DeepSeek R1和V3、Microsoft Copilot以及OpenAI的GPT-4o,誘導它們創建“完全功能”的Chrome資訊竊取程式。這些惡意軟體旨在從Chrome瀏覽器中竊取密碼和財務資訊等敏感資料。
該研究人員採用了一種創新的策略,稱為“沉浸式世界”,以繞過這些AI系統的安全措施。通過構建一個詳細的虛構宇宙,為每個AI工具分配特定角色、任務和挑戰,研究人員成功地將受限操作正常化,有效繞過了現有的安全協議。
沉浸式世界技術
“沉浸式世界”越獄技術尤其令人擔憂,因為這些AI模型的聊天機器人被廣泛使用。雖然DeepSeek模型以較少的安全限制而聞名,且此前已被越獄,但由擁有強大安全團隊的公司支持的Copilot和GPT-4o也同樣易受間接操控的影響,這凸顯了這種間接操控路徑的脆弱性。
Cato的首席安全策略師Etay Maor表示:“我們的新LLM越獄技術[...]本應被生成式AI的安全限制所阻止,但並未成功。”Cato的報告還提到,雖然公司已通知受影響的相關方,但回應各異。DeepSeek未予回覆,而OpenAI和Microsoft則確認了這些發現。另一方面,Google確認收到通知,但拒絕審查Cato的程式碼。
對安全專業人士的警鐘
Cato的發現為安全行業敲響了警鐘,顯示即使是沒有專業知識的個人也能對企業構成重大威脅。隨著AI操控的進入門檻日益降低,攻擊者執行成功攻擊所需的技術專長越來越少。
根據Cato的說法,解決方案在於採用基於AI的安全策略。通過專注於AI驅動威脅的演變環境進行安全培訓,團隊可以保持領先一步。欲了解更多關於為企業應對這些挑戰的見解,請查看這位專家的建議。
通過訂閱Tech Today,保持更新最新的安全新聞,每早送達您的收件匣。
相關文章
DeepMind執行長哈西里斯:我每天睡六個小時,通常在凌晨1點左右感到精力充沛。
Fortune 最近刊登了對谷歌 DeepMind 執行長 Demis Hassabis 的採訪,揭示了他對休息和生產力的非傳統方法。Hassabis 透露,他睡眠時間非常少,將清醒時間劃分為兩個不同的工作階段。關於他的睡眠習慣,Hassabis 表示:“我目標睡六小時,但我的習慣非同尋常。我可以在白天有效運作。”他強調,睡眠少於六小時會對大腦健康產生負面影響。Hassabis 於 2010 年聯合創立了 DeepMind(後被谷歌收購),並因其在蛋白質結構預測方面的開創性工作榮獲 20
儘管營收未達預期,OpenAI 與 Anthropic 仍爭奪市場份額
儘管近期有報導指出 OpenAI 未達營收目標,導致本週二科技股承壓,但私人人工智慧實驗室的投資者仍展現出韌性。資深投資者已確認,儘管媒體報導負面,他們仍不會削減投資。分析師認為當前的 AI 競逐仍處於初期階段,因此排除「贏家通吃」的結果。儘管高昂的運算成本對營收造成壓力,但各實驗室可透過調高訂閱費來提升獲利能力。產業格局正經歷微妙的變化與 OpenAI 不同,競爭對手 Anthropic 獲得了
加州自動駕駛合規:罰單、地理圍欄與 100 萬英里的新時代
Guident 在南佛羅里達州營運一輛 AuveTech 接駁車,並運用其遠端監控技術,管理西棕櫚灘的一條四英里路線以及博卡拉頓的一條一英里路線。| 圖片來源:Guident加州正重新定義無人駕駛車輛的監管格局,從科技產業的「快速行動、打破常規」心態,轉向嚴格的問責制與嚴謹的行駛里程要求。Guident 執行董事長兼執行長哈羅德·布勞恩(Harold Braun)在《機器人報告》(The Robo
相關專題推薦
評論 (7)
0/500
AIがコード書いてくれるって便利だけど、こんな風に悪用される可能性があるんだね…セキュリティ会社の報告書、興味深い。ちょっと怖いけど、結局は使い方次第ってことか。使う側の倫理観が重要になってきそうだわ。🔒
Esse truque de AI para criar infostealers do Chrome é loucura! 😱 Sem habilidades de codificação necessárias? Isso é assustador, mas também meio legal. Me faz pensar em como nossos dados estão realmente seguros. Mas tenho que dar crédito pela criatividade! 🔍
¡Este truco de IA para crear infostealers de Chrome es una locura! 😱 ¿Sin habilidades de codificación necesarias? Eso es aterrador pero también un poco genial. Me hace preguntarme cuán seguros están realmente nuestros datos. Pero hay que reconocer la creatividad! 🔍
크롬 정보 도둑 프로그램을 만드는 AI 트릭이 대단해! 😱 코딩 기술이 필요 없다고? 무섭지만 좀 멋지기도 해. 우리 데이터가 정말 안전한지 궁금해지네. 그래도 창의성에는 박수를 보내! 🔍

生成式AI是一把雙刃劍,既引發創新,也帶來爭議,特別是在安全基礎設施領域。領先的企業安全提供商Cato Networks揭示了一種操控AI聊天機器人的新方法。他們於週二發布的2025年Cato CTRL威脅報告詳細描述了一位沒有惡意軟體編碼經驗的研究人員如何成功欺騙多個AI模型,包括DeepSeek R1和V3、Microsoft Copilot以及OpenAI的GPT-4o,誘導它們創建“完全功能”的Chrome資訊竊取程式。這些惡意軟體旨在從Chrome瀏覽器中竊取密碼和財務資訊等敏感資料。
該研究人員採用了一種創新的策略,稱為“沉浸式世界”,以繞過這些AI系統的安全措施。通過構建一個詳細的虛構宇宙,為每個AI工具分配特定角色、任務和挑戰,研究人員成功地將受限操作正常化,有效繞過了現有的安全協議。
沉浸式世界技術
“沉浸式世界”越獄技術尤其令人擔憂,因為這些AI模型的聊天機器人被廣泛使用。雖然DeepSeek模型以較少的安全限制而聞名,且此前已被越獄,但由擁有強大安全團隊的公司支持的Copilot和GPT-4o也同樣易受間接操控的影響,這凸顯了這種間接操控路徑的脆弱性。
Cato的首席安全策略師Etay Maor表示:“我們的新LLM越獄技術[...]本應被生成式AI的安全限制所阻止,但並未成功。”Cato的報告還提到,雖然公司已通知受影響的相關方,但回應各異。DeepSeek未予回覆,而OpenAI和Microsoft則確認了這些發現。另一方面,Google確認收到通知,但拒絕審查Cato的程式碼。
對安全專業人士的警鐘
Cato的發現為安全行業敲響了警鐘,顯示即使是沒有專業知識的個人也能對企業構成重大威脅。隨著AI操控的進入門檻日益降低,攻擊者執行成功攻擊所需的技術專長越來越少。
根據Cato的說法,解決方案在於採用基於AI的安全策略。通過專注於AI驅動威脅的演變環境進行安全培訓,團隊可以保持領先一步。欲了解更多關於為企業應對這些挑戰的見解,請查看這位專家的建議。
通過訂閱Tech Today,保持更新最新的安全新聞,每早送達您的收件匣。
DeepMind執行長哈西里斯:我每天睡六個小時,通常在凌晨1點左右感到精力充沛。
Fortune 最近刊登了對谷歌 DeepMind 執行長 Demis Hassabis 的採訪,揭示了他對休息和生產力的非傳統方法。Hassabis 透露,他睡眠時間非常少,將清醒時間劃分為兩個不同的工作階段。關於他的睡眠習慣,Hassabis 表示:“我目標睡六小時,但我的習慣非同尋常。我可以在白天有效運作。”他強調,睡眠少於六小時會對大腦健康產生負面影響。Hassabis 於 2010 年聯合創立了 DeepMind(後被谷歌收購),並因其在蛋白質結構預測方面的開創性工作榮獲 20
儘管營收未達預期,OpenAI 與 Anthropic 仍爭奪市場份額
儘管近期有報導指出 OpenAI 未達營收目標,導致本週二科技股承壓,但私人人工智慧實驗室的投資者仍展現出韌性。資深投資者已確認,儘管媒體報導負面,他們仍不會削減投資。分析師認為當前的 AI 競逐仍處於初期階段,因此排除「贏家通吃」的結果。儘管高昂的運算成本對營收造成壓力,但各實驗室可透過調高訂閱費來提升獲利能力。產業格局正經歷微妙的變化與 OpenAI 不同,競爭對手 Anthropic 獲得了
AIがコード書いてくれるって便利だけど、こんな風に悪用される可能性があるんだね…セキュリティ会社の報告書、興味深い。ちょっと怖いけど、結局は使い方次第ってことか。使う側の倫理観が重要になってきそうだわ。🔒
Esse truque de AI para criar infostealers do Chrome é loucura! 😱 Sem habilidades de codificação necessárias? Isso é assustador, mas também meio legal. Me faz pensar em como nossos dados estão realmente seguros. Mas tenho que dar crédito pela criatividade! 🔍
¡Este truco de IA para crear infostealers de Chrome es una locura! 😱 ¿Sin habilidades de codificación necesarias? Eso es aterrador pero también un poco genial. Me hace preguntarme cuán seguros están realmente nuestros datos. Pero hay que reconocer la creatividad! 🔍
크롬 정보 도둑 프로그램을 만드는 AI 트릭이 대단해! 😱 코딩 기술이 필요 없다고? 무섭지만 좀 멋지기도 해. 우리 데이터가 정말 안전한지 궁금해지네. 그래도 창의성에는 박수를 보내! 🔍





首頁






