DeepseekのAIモデルは簡単にJailbrokedが、深刻な欠陥を明らかにしています

DeepSeek AIのパフォーマンス過熱の中でセキュリティ懸念が高まる

中国のスタートアップDeepSeekのパフォーマンスを巡る話題が盛り上がる中、セキュリティ懸念も増大している。木曜日、パロアルトネットワークスのサイバーセキュリティチームUnit 42は、DeepSeekのV3およびR1モデルの蒸留版に対して使用した3つのジェイルブレイク手法を詳細に記載したレポートを公開した。レポートによると、これらの手法は特別な知識を必要とせず、高い回避率を達成した。

「我々の研究結果は、これらのジェイルブレイク手法が悪意ある活動に対する明確なガイダンスを引き出せることを示している」とレポートは述べている。これらの活動には、キーロガーの作成、データ抽出技術、さらには火炎瓶の製造方法に関する指示が含まれており、こうした攻撃がもたらす実際のセキュリティリスクを浮き彫りにしている。

研究者たちは、DeepSeekに対し、機密データの盗難と転送、セキュリティ対策の回避、説得力のあるスピアフィッシングメールの作成、洗練されたソーシャルエンジニアリング攻撃の実行、モロトフカクテルの構築に関するガイダンスを求めるプロンプトに成功した。また、モデルを操作してマルウェアを生成させることにも成功した。

「モロトフカクテルやキーロガーの作成に関する情報はオンラインで簡単に入手できるが、安全制限が不十分なLLMは、悪意ある行為者が簡単に利用可能で実行可能な出力をまとめ提示することで、参入障壁を下げる可能性がある」と論文は付け加えた。

金曜日、シスコはDeepSeek R1を対象とした独自のジェイルブレイクレポートを公開した。50のHarmBenchプロンプトを使用した研究者たちは、DeepSeekが100%の攻撃成功率を示し、有害なプロンプトを一切ブロックできなかったことを発見した。DeepSeekの抵抗率と他のトップモデルの比較は以下の通り。

「DeepSeekとその新しい推論パラダイムが安全性とセキュリティにおいて重大なトレードオフを持つかどうかを理解する必要がある」とレポートは指摘した。

同じく金曜日、セキュリティプロバイダーのWallarmは、DeepSeekに有害なコンテンツを生成させるだけでなく、さらに踏み込んだレポートを公開した。V3とR1をテストした後、WallarmはDeepSeekのシステムプロンプトを明らかにした。これはモデルの動作と制限を概説するものだ。

Wallarmによると、調査結果は「モデルのセキュリティフレームワークにおける潜在的な脆弱性」を示唆している。

OpenAIは、DeepSeekがその独自モデルを使用してV3とR1を訓練し、利用規約に違反したと非難している。Wallarmのレポートは、DeepSeekにOpenAIをその訓練系統で参照させるプロンプトを行い、「OpenAIの技術がDeepSeekの知識ベース形成に役割を果たした可能性がある」と主張している。

「DeepSeekの場合、ジェイルブレイク後の最も興味深い発見の一つは、訓練や蒸留に使用されたモデルに関する詳細を抽出できることだ。通常、こうした内部情報は保護されており、ユーザーがパフォーマンス最適化に活用された独自または外部データセットを理解することはできない」とレポートは説明した。

「標準的な制限を回避することで、ジェイルブレイクはAIプロバイダーが自社のシステムに対してどれだけの監視を行っているかを露呈し、セキュリティの脆弱性だけでなく、AI訓練パイプラインにおけるモデル間の相互影響の潜在的な証拠も明らかにする」と続けた。

Wallarmがこの応答を引き出すために使用したプロンプトは、他の脆弱なモデルを危険にさらさないようレポートで非公開とされた。研究者たちはZDNETへのメールで、このジェイルブレイク応答がDeepSeekがモデルを蒸留したというOpenAIの疑いを確認するものではないと強調した。

404 Mediaなどが指摘しているように、OpenAI自身の公開データ盗難を巡る議論を考慮すると、OpenAIの懸念は若干皮肉なものがある。

WallarmはDeepSeekにこの脆弱性を通知し、同社はそれ以来問題を修正した。しかし、DeepSeekのデータベースがインターネット上で無防備に公開されているのが発見された（通知後に迅速に削除された）数日後、これらの発見はDeepSeekがリリース前に徹底的にテストしなかったモデルに潜在的に重大な安全上の欠陥があることを示している。なお、研究者はChatGPTを含む、より確立されたAI大手による人気の米国製モデルを頻繁にジェイルブレイクできている点も注目に値する。