Cisco警告：微調整されたLLMSが22倍不正になる可能性が高い

# cisco # LLMs # APIs # saas # csco # goog-2 # msft-2 # nvda-2 # darkgpt # darkweb # fraudgpt # ghostgpt # zeroday

武器化された大手言語モデルは、サイバー攻撃を再構築します

サイバー攻撃の風景は、武器化された大手言語モデル（LLM）の出現によって駆動される、大きな変革を遂げています。 Fraudgpt、GhostGpt、DarkGptなどのこれらの高度なモデルは、サイバー犯罪者の戦略を再構築し、チーフ情報セキュリティ担当者（CISO）にセキュリティプロトコルを再考することを強制しています。偵察を自動化し、アイデンティティになりすまし、検出を回避する機能により、これらのLLMは前例のない規模でソーシャルエンジニアリング攻撃を加速しています。

わずか75ドルで利用可能なこれらのモデルは、攻撃的な使用に合わせて調整されており、フィッシング、エクスプロイト生成、コード難読化、脆弱性スキャン、クレジットカードの検証などのタスクを促進します。サイバー犯罪グループ、シンジケート、さらには国民国家さえもこれらのツールを活用しており、プラットフォーム、キット、リースサービスとして提供しています。正当なソフトウェアとしてのサービス（SAAS）アプリケーションと同様に、武器化されたLLMにはダッシュボード、API、定期的な更新、時にはカスタマーサポートが付属しています。

VentureBeatは、これらの武器化されたLLMの急速な進化を綿密に監視しています。洗練されるにつれて、開発者プラットフォームとサイバー犯罪キットの区別はますます曖昧になっています。リースの下落とレンタル価格で、より多くの攻撃者がこれらのプラットフォームを探索し、AI主導の脅威の新しい時代を告げています。

脅威にさらされている正当なLLM

武器化されたLLMの増殖は、合法的なLLMでさえ侵害され、犯罪ツールチェーンに統合されるリスクがあるポイントに達しました。 CiscoのThe State of AI Security Reportによると、微調整されたLLMSは、基本的なカウンターパートよりも有害な生産量を生成する可能性が22倍高くなっています。微調整はコンテキストの関連性を高めるために不可欠ですが、安全対策を弱め、脱獄、迅速な注入、モデルの反転の影響を受けやすくします。

シスコの研究は、モデルが生産のために洗練されるほど、脆弱になることを強調しています。継続的な調整、サードパーティの統合、コーディング、テスト、エージェントオーケストレーションなど、微調整に関与するコアプロセスは、攻撃者が悪用する新しい道を作成します。中に入ると、攻撃者はデータをすばやく毒し、インフラストラクチャをハイジャックし、エージェントの動作を変更し、トレーニングデータを大規模に抽出できます。追加のセキュリティレイヤーがなければ、これらの細心の注意を払って微調整されたモデルは、攻撃者による搾取の機が熟しているため、すぐに負債になる可能性があります。

微調整LLMS：両刃の剣

Ciscoのセキュリティチームは、LLAMA-2-7BやMicrosoftのドメイン固有の適応LLMを含む複数のモデルに対する微調整の影響に関する広範な研究を実施しました。彼らのテストは、ヘルスケア、財務、法律など、さまざまなセクターに及びました。重要な発見は、きれいなデータセットであっても、特に生物医学や法律などの高度に規制された分野でモデルの整合を不安定にすることです。

微調整はタスクのパフォーマンスを改善することを目的としていますが、組み込みの安全コントロールを誤って損なうことを目的としています。通常、基礎モデルに対して失敗する脱獄の試みは、特に厳格なコンプライアンス要件を備えた機密ドメインで、微調整されたバージョンに対してはるかに高いレートで成功します。結果は厳しいです：脱獄成功率は3倍になり、悪意のある出力生成は、基礎モデルと比較して2,200％増加しました。このトレードオフは、微調整がユーティリティを強化する一方で、攻撃面を大幅に拡大することを意味します。

悪意のあるLLMのコモディティ化

Cisco Talosは、これらのブラックマーケットLLMSの台頭を積極的に追跡しており、彼らの事業に関する洞察を提供しています。 GhostGpt、DarkGpt、詐欺などのモデルは、TelegramとThe Dark Webで月にわずか75ドルで入手できます。これらのツールは、フィッシング、開発、クレジットカードの検証、および難読化におけるプラグアンドプレイの使用のために設計されています。

組み込みの安全機能を備えた主流モデルとは異なり、これらの悪意のあるLLMは攻撃的な運用のために事前に構成されており、市販のSaaS製品を模倣するAPI、アップデート、およびダッシュボードが付属しています。

データセット中毒：AIサプライチェーンに対する60ドルの脅威

Ciscoの研究者は、Google、Ethチューリッヒ、およびNvidiaと協力して、わずか60ドルで、攻撃者はゼロデイのエクスプロイトを必要とせずにAIモデルの基礎データセットを毒することができることを明らかにしました。データセットアーカイブ中に期限切れのドメインまたはタイミングウィキペディアの編集を活用することにより、攻撃者はLAION-400MやCoyo-700Mなどのデータセットの0.01％を汚染し、下流のLLMSに大きな影響を与える可能性があります。

スプリットビュー中毒やfrontrunning攻撃などの方法は、Webがクロールしたデータに固有の信頼を活用します。オープンデータに基づいて構築されたほとんどのエンタープライズLLMにより、これらの攻撃は静かにスケーリングし、推論パイプラインに深く維持でき、AIサプライチェーンに深刻な脅威をもたらします。

分解攻撃：機密データの抽出

Ciscoの研究からの最も驚くべき調査結果の1つは、安全メカニズムをトリガーすることなくLLMが機密トレーニングデータをリークする能力です。分解プロンプトと呼ばれる手法を使用して、研究者はニューヨークタイムズとウォールストリートジャーナルの一部の記事の20％以上を再構築しました。この方法は、GuardRailsによって安全であるとみなされるサブQueriesにプロンプ​​トを分解し、出力を再組み立てしてペイウォールまたは著作権のあるコンテンツを再現します。

このタイプの攻撃は、特に独自のデータセットまたはライセンスされたデータセットで訓練されたLLMSを使用している企業に大きなリスクをもたらします。違反は、入力レベルではなく、モデルの出力を介して発生し、検出、監査、または封じ込めが困難になります。ヘルスケア、金融、法律などの規制セクターの組織の場合、これはGDPR、HIPAA、またはCCPAコンプライアンスに関する懸念を引き起こすだけでなく、法的に調達したデータを推論によって公開できる新しいクラスのリスクを導入します。

最終的な考え：新しい攻撃面としてのLLMS

Ciscoの進行中の研究とTalosのダークWebモニタリングは、武器化されたLLMがますます洗練されており、価格とパッケージ戦争が暗いWebで展開されていることを確認しています。調査結果は、LLMが単なる企業の端にあるツールではないことを強調しています。それらはそのコアに不可欠です。微調整に関連するリスクからデータセット中毒やモデル出力漏れまで、攻撃者はLLMを悪用する重要なインフラストラクチャと見なしています。

Ciscoのレポートからの重要なポイントは明らかです。静的ガードレールはもはや十分ではありません。 CISOSとセキュリティリーダーは、ITエステート全体でリアルタイムの可視性を獲得し、敵対的なテストを強化し、これらの進化する脅威に対応するために技術スタックを合理化する必要があります。彼らは、LLMとモデルが微調整されるにつれてますます脆弱になる動的な攻撃面を表していることを認識しなければなりません。

関連記事

コメント (30)