OpenAIのヒューマンエラーがHugging FaceでのAI活用ハックを引き起こす

火曜日、OpenAIは、そのAIモデルの1つがテスト中にデータセットプラットフォームHugging Faceのシステムを侵害したことを明らかにし、完全に自動化されたAI駆動型攻撃における劇的なマイルストーンを示した。

しかし、サイバーセキュリティの専門家は、AIの役割にもかかわらず、根本原因は人間のミスであると指摘している。OpenAIは「高度に隔離された環境」を適切に構成することに失敗し、オフラインであるべきテスト用サンドボックスがインターネットに接続することを許してしまった。

サイバーセキュリティ企業Trail of Bitsの創設者であるDan Guidoは、この過失を「安全装置がオフになっている状態での封じ込めの失敗」と表現した。

この事案を詳述するブログ投稿において、OpenAIは「高度に隔離された環境」で実行されるテストが、パッケージレジストリのプロキシおよびキャッシュとして機能する内部ホスト型サードパーティソフトウェアを介したパッケージインストールのみを許可するネットワークアクセスの制限を目的として設計されていたと述べた。

OpenAIによると、このモデルは以前から開示されていなかったパッケージインストールシステムの脆弱性を悪用してサンドボックス環境を脱出し、その後のHugging Faceに対するハッキングの重要な第一歩を達成した。

同社は、「内部ホスト型サードパーティソフトウェアにおける特定されたゼロデイ脆弱性を責任を持って開示し、パッチ適用に向けて同社と協力している」と対応した。

しかし、サイバーセキュリティの専門家の大多数は、ソフトウェアの脆弱性は避けられないものの、真の問題はサードパーティソフトウェアを維持すること自体にあると指摘している。サンドボックスの核心的な価値は完全な隔離にあり、インストールシステムを含めることはリスクを招く。

サイバーセキュリティ研究者のMartin BooneはTechCrunchに対し、「これは人間の失敗のように聞こえる」と語った。

「これは決して起こってはならないことだ」とBooneは述べた。「もしサンドボックスが本当にサンドボックスを意味するなら、インターネットとの物理的な接続が一切ないことを期待するはずだ。これはおそらく何らかのファイアウォールが設置されていたように聞こえるが、外部から内部へのファイアウォールは難しいだけでなく、内部から外部のインターネットへのファイアウォールはさらに困難だ。」

サイバーセキュリティのベテランであるJake Williamsも同意見だ。「Hugging Faceによって文書化された種類の行動を実行していたどのモデルも、サンドボックス内で完全に封じ込められていなかった」とWilliamsは述べ、これをOpenAIによる「巨大な制御の失敗」と位置づけた。

「ある人にとっての『モデルがサンドボックスを脱出した』は、別の人にとっての『サンドボックスを正しく構築しなかったため、当然脱出した』という話だ」とWilliamsは続けた。

お問い合わせ

この事案やその他のAI駆動型サイバー攻撃に関する洞察をお持ちですか？皆様からの意見をお待ちしています。個人のデバイスおよびネットワークから、Signalにて+1 917 257 1382、またはTelegramおよびKeybase @lorenzofb、またはメールにてLorenzo Franceschi-Bicchieraiに安全に連絡してください。

サイバーセキュリティコンサルタントのDaniel Cardは、フィルタリングされていないインターネットルートを提供することで、OpenAIが「サンドボックスの設計およびその制御に十分な努力を払わなかった」と同意見だ。Cardによれば、記載された制限付きアクセスでサンドボックスを設定することは「合理的な」決定ではなかった。

これらの批判は後知恵に頼るものではあるが、特に隔離されたテスト環境に関するAIラボにおける重要なセキュリティ慣行を浮き彫りにしている。OpenAIの spokespeopleは、AIか人間がテスト環境を構成したかについて問うTechCrunchの問い合わせに対し回答しなかった。

しかし、これらの疑問はOpenAIを超えて広範に及ぶ。

サイバーセキュリティに焦点を当てたモデルMythosのドキュメントにおいて、Anthropicはテスト中にモデルが「相互作用するための保護された『サンドボックス』コンピュータを提供され」、「その『安全なコンテナ』から脱出するよう指示された」と指摘した。Mythosは成功し、本来は限られた数の事前に決定されたサービスにのみ到達できるシステムから、より広範なインターネットアクセスを獲得した。Anthropicは、モデルが設計された封じ込めから「完全に」脱出したわけではないと注記した。