Cisco警告：微調整されたLLMSが22倍不正になる可能性が高い

# cisco # LLMs # APIs # saas # csco # goog-2 # msft-2 # nvda-2 # darkgpt # darkweb # fraudgpt # ghostgpt # zeroday

武器化された大規模言語モデルがサイバー攻撃を再構築

サイバー攻撃の状況は、武器化された大規模言語モデル（LLMs）の出現によって大きな変革を遂げています。FraudGPT、GhostGPT、DarkGPTなどの先進的なモデルは、サイバー犯罪者の戦略を再構築し、最高情報セキュリティ責任者（CISOs）にセキュリティプロトコルの再考を迫っています。偵察の自動化、身元のなりすまし、検知の回避といった能力を持つこれらのLLMは、前例のない規模でソーシャルエンジニアリング攻撃を加速させています。

月額わずか75ドルで利用可能なこれらのモデルは、攻撃用途に特化しており、フィッシング、悪用コード生成、コード難読化、脆弱性スキャン、クレジットカード検証などのタスクを容易にします。サイバー犯罪グループ、シンジケート、さらには国家までもがこれらのツールを活用し、プラットフォーム、キット、リースサービスとして提供しています。正規のソフトウェア・アズ・ア・サービス（SaaS）アプリケーションと同様に、武器化されたLLMにはダッシュボード、API、定期的なアップデート、さらにはカスタマーサポートが付属しています。

VentureBeatは、これらの武器化されたLLMの急速な進化を注視しています。その洗練度が増すにつれ、開発者プラットフォームとサイバー犯罪キットの境界がますます曖昧になっています。リースやレンタル価格の低下に伴い、さらなる攻撃者がこれらのプラットフォームを探索し、AI駆動の脅威の新時代を告げています。

正規のLLMが脅威にさらされる

武器化されたLLMの急増は、正規のLLMでさえ犯罪ツールチェーンに組み込まれ、侵害されるリスクに直面する段階に達しています。CiscoのAIセキュリティの現状レポートによると、微調整されたLLMは、ベースモデルに比べて有害な出力を生成する可能性が22倍高いとされています。微調整は文脈の関連性を高めるために重要ですが、安全対策を弱め、モデルをジェイルブレイク、プロンプトインジェクション、モデル反転に対して脆弱にします。

Ciscoの研究では、モデルが本番用に精緻化されるほど脆弱性が増すことが強調されています。微調整に含まれる継続的な調整、サードパーティ統合、コーディング、テスト、エージェントオーケストレーションなどのコアプロセスは、攻撃者に悪用される新たな道を開きます。一旦侵入されると、攻撃者は迅速にデータを汚染し、インフラを乗っ取り、エージェントの動作を変更し、大規模に訓練データを抽出できます。追加のセキュリティ層がなければ、これらの慎重に微調整されたモデルは、攻撃者による悪用に適した負債となり得ます。

LLMの微調整：両刃の剣

Ciscoのセキュリティチームは、Llama-2-7BやMicrosoftのドメイン特化型Adapt LLMなど、複数のモデルに対する微調整の影響について広範な研究を行いました。テストは医療、金融、法律などさまざまな分野に及びました。主な発見は、クリーンデータセットを使用した微調整であっても、特に生物医学や法律などの厳格に規制された分野で、モデルの整合性を不安定にするというものでした。

微調整はタスクのパフォーマンス向上を目指していますが、組み込みの安全制御を意図せず損ないます。基盤モデルに対して通常失敗するジェイルブレイクの試みは、微調整されたバージョン、特に厳格なコンプライアンス要件がある敏感な領域で、はるかに高い成功率で成功します。結果は顕著で、ジェイルブレイクの成功率は3倍になり、悪意のある出力生成は基盤モデルに比べて2,200%増加しました。このトレードオフは、微調整が有用性を高める一方で、攻撃対象領域を大幅に広げることを意味します。

悪意のあるLLMの商品化

Cisco Talosは、ブラックマーケットのLLMの台頭を積極的に追跡し、その運用に関する洞察を提供しています。GhostGPT、DarkGPT、FraudGPTなどのモデルは、Telegramやダークウェブで月額わずか75ドルで入手可能です。これらのツールは、フィッシング、悪用開発、クレジットカード検証、難読化のためのプラグアンドプレイ用途に設計されています。

安全機能を備えた主流のモデルとは異なり、これらの悪意のあるLLMは攻撃的な操作用に事前設定されており、商用SaaS製品を模倣したAPI、アップデート、ダッシュボードが付属しています。

データセット汚染：AIサプライチェーンへの60ドルの脅威

Ciscoの研究者たちは、Google、ETH Zurich、Nvidiaと協力して、わずか60ドルで攻撃者がゼロデイ攻撃を必要とせずにAIモデルの基盤データセットを汚染できることを明らかにしました。期限切れのドメインを悪用したり、データセットのアーカイブ中にWikipediaの編集をタイミングよく行うことで、攻撃者はLAION-400MやCOYO-700Mなどのデータセットのわずか0.01%を汚染し、下流のLLMに大きな影響を与えることができます。

スプリットビュー汚染やフロントランニング攻撃などの手法は、ウェブクロールデータへの固有の信頼を悪用します。ほとんどの企業向けLLMがオープンデータに基づいて構築されているため、これらの攻撃は静かにスケールし、推論パイプラインの奥深くまで持続し、AIサプライチェーンに深刻な脅威をもたらします。

分解攻撃：機密データの抽出

Ciscoの研究から最も懸念される発見の一つは、LLMが安全メカニズムをトリガーせずに機密性の高い訓練データを漏洩する能力です。分解プロンプティングと呼ばれる技術を使用し、研究者はThe New York TimesやThe Wall Street Journalから選ばれた記事の20%以上を再構築しました。この手法は、プロンプトをガードレールが安全とみなすサブクエリに分解し、出力結果を再組み立てしてペイウォールや著作権で保護されたコンテンツを再作成します。

この種の攻撃は、独自またはライセンスされたデータセットで訓練されたLLMを使用する企業にとって重大なリスクをもたらします。侵害は入力レベルではなく、モデルの出力を通じて発生するため、検知、監査、封じ込めが困難です。医療、金融、法律などの規制されたセクターの組織にとって、これはGDPR、HIPAA、CCPAのコンプライアンスに関する懸念だけでなく、合法的に取得されたデータが推論を通じて暴露される新たなリスククラスを導入します。

最終的な考察：新たな攻撃対象としてのLLM

Ciscoの継続的な研究とTalosのダークウェブ監視により、武器化されたLLMがますます洗練され、ダークウェブ上で価格とパッケージングの競争が展開されていることが確認されています。この発見は、LLMが企業の端にあるツールにとどまらず、その中核に不可欠であることを強調しています。微調整に伴うリスクからデータセット汚染、モデル出力漏洩に至るまで、攻撃者はLLMを悪用すべき重要なインフラと見なしています。

Ciscoのレポートの主なポイントは明らかです：静的なガードレールはもはや十分ではありません。CISOとセキュリティリーダーは、IT全体でリアルタイムの可視性を獲得し、敵対的テストを強化し、進化する脅威に対応するために技術スタックを合理化する必要があります。LLMとモデルは、微調整されるにつれてますます脆弱になる動的な攻撃対象であることを認識しなければなりません。

関連記事

コメント (31)