OpenAI、セキュリティ上の脆弱性への対応とAIモデルの改良のため、導入ペースを緩める

OpenAIのCEO、サム・アルトマン氏。写真：チップ・ソモデヴィラ／ゲッティイメージズ

Hugging Faceでのセキュリティ侵害を受けて、OpenAIは開発ペースを緩めている。CEOのサム・アルトマン氏は、すべての学習段階におけるアラインメントが極めて重要であると強調している。

OpenAIは、Hugging Faceのインシデントを受けて、一歩引いてモデル開発のペースを緩め、調整を図っている。これは、AIの能力が高まるにつれてリスクも増大することを示している。

この動きは、開発中のモデル「Astra」が同社のサイバーセキュリティの許容限界に近づいている可能性があることを示す内部調査の結果を受けてのものであり、その高度な能力に対する懸念が高まっている。

OpenAIのCEOであるサム・アルトマン氏は次のように述べています。「モデルの進歩は現在、極めて急速に進んでおり、私たちは常に、モデルの能力が安全性やアラインメントの確保のペースを上回っていると判断した場合には、措置を講じると述べてきました。

「安全への確信が、AIの進歩のペースをますます決定づけていくものと期待している。我々は現在進めているアラインメントの取り組みに楽観的であり、最先端の機能を広く利用可能にするという姿勢を堅持している。」

この運用の一時停止と並行して、OpenAIは、特に10代の若者を対象とした、カスタマイズされ安全対策が施されたChatGPTのバージョンを導入し、コンシューマー向けエコシステムの拡大も進めている。

政治的圧力から安全性の基準まで

最先端モデルの開発を一時停止するという決定は、世論や政治からの監視が厳しさを増す中で下されたものです。

米国では、バーモント州選出のバーニー・サンダース上院議員が、OpenAIのサム・アルトマン氏、Anthropicのダリオ・アモデイ氏、Metaのマーク・ザッカーバーグ氏を含む主要AI企業のCEOらに書簡を送り、高度なAIモデルの開発を直ちに停止するよう要求した。

同上院議員は、テクノロジー企業が自社のモデルに対する制御を急速に失いつつあると警告し、人類の利益のために経営陣が公約を堅持するよう強く求めた。

この政治的圧力は、OpenAIで最近発生した内部の安全上のインシデントを背景に生じたものである。同インシデントでは、テスト中のAIエージェントが予期せず、テクノロジー企業Hugging Faceへのハッキングを行った。

さらに、Astraの内部評価では、エージェント型コーディングやサイバーセキュリティにおける高度な能力が明らかになり、OpenAIは、自社の「準備フレームワーク」で定義された「重要なサイバーセキュリティ能力」の閾値を超える可能性があると示唆した。

これを受けて同社は現在、研究環境へのレッドチーム活動および監視インフラの全面的な見直しを行うため、近日中にデプロイ予定の最新モデルに対する強化学習（RL）トレーニングを2週間強制的に停止する措置を講じた。

小規模な評価が実施されている間、大規模な最先端RLトレーニングの実行は引き続き保留されている。

Sources Newsのインタビューでこの状況について語ったOpenAIの安全責任者アメリア・グレイズ氏は、「すべてが通常通りに戻るまでには、まだかなり時間がかかります」と述べている。

OpenAIの安全担当責任者、アメリア・グレイズ氏。提供：アメリア・グレイズ／LinkedIn

研究インフラとセキュリティ対策の抜本的な見直し

高性能モデルに伴うリスクを軽減するため、OpenAIは社内の研究環境を全面的に見直し、以下の3つの柱からなる安全対策戦略を実施している。

• 監視：懸念される行動をリアルタイムで検知・対応するための自動追跡
• アラインメント：不正、欺瞞的、または危険な行動を防止するために設計されたトレーニングプロトコル
• セキュリティ対策：モデルがアクセスまたは影響を及ぼし得る範囲を制限するための厳格な隔離

また、Hugging Faceへの不正アクセス事件を受けて、コードの実行やインターネットへのアクセスが可能な研究用クラスターにおける最先端モデルの推論を一時停止しました。Astraやサイバーセキュリティに特化したモデルを含む高リスクなワークロードには、現在、最も厳格なセキュリティ対策が求められています。

これらの更新されたプロトコルでは、信頼できないコードの実行にはサンドボックスを使用し、単一の侵害点が内部ネットワークやインターネット全体に波及するのを防ぐためのネットワーク分離と併せて、厳格なワークロードの分離が実施されています。

さらに、OpenAIは継続的なセキュリティテストを統合し、自動化されたモデルを活用して模擬攻撃を実行し、システム境界を継続的に監視しています。

「安全への信頼が

、

AIの進歩のペースをますます決定づけていくものと期待しています

」OpenAI CEO サム・アルトマン

多段階にわたる再設計

監視インフラも多段階にわたる再設計が進められており、新しい構成では、モデルのトークン活動をリアルタイムで分析するアクティベーション分類器が採用されています。

異常な挙動が検出された場合、自動化されたシステムが推論出力、ツールの動作、実行シーケンスを検証し、不正アクセスや安全対策の回避がないかを調べます。

重大なセキュリティ境界違反がフラグ付けされた場合、安全性チームおよび研究チームには最優先のアラートが送信される。30分以内にその潜在的な違反が誤検知であることが確認できない場合、各チームは直ちに実行中の処理を一時停止しなければならない。

OpenAIの推定によると、これらの継続的な監視システムには、監視対象の推論処理量の約20％に相当する、相当な計算オーバーヘッドが必要となります。

同時に、OpenAIはすべてのトレーニング段階にわたってアラインメント研究を拡大しています。重点分野は以下の通りです：

1. 報酬ハッキングの防止：モデルが、意図した成果を達成せずに高い報酬を得るために、トレーニング環境の欠陥を悪用しないようにすること
2. 欺瞞の軽減：モデルが自身の行動、限界、能力について誠実さを維持できるよう訓練すること
3. システムの監視：モデルが外部システムとやり取りする際の不正行為を減らすため、報酬モデルと評価システムを強化する

ドナルド・トランプ米大統領は、Hugging Faceの事件を受け、自政権がAI規制の強化を検討していると述べた。写真提供：Samuel Corum/Getty Images

教室への導入

最先端モデルの学習は鈍化している一方で、OpenAIは13歳から17歳のユーザー向けに特別に設計されたバージョン「ChatGPT for Teens」のリリースにより、消費者向け製品ラインナップを拡大している。

AIと共に成長する世代向けに設計されたこの製品は、10代の若者が健全かつ年齢に適した形でAIと関わるよう導くことを目的としている。

OpenAIは、本人申告の年齢、アカウント情報、および年齢確認推定システムを組み合わせて、未成年ユーザーを特定している。未成年と判定されたアカウントは、自動的にティーン向け体験に誘導される。

主な機能と保護措置は以下の通りです：

• 教育的なガイダンス：システムは、宿題の答えを直接提供したり、学校の作文を生成したりすることを避けます。その代わりに、誘導的な質問や段階的なプロンプトを用いて、批判的思考力や問題解決能力を育みます
• コンテンツ制限：強化されたフィルタリング機能により、自傷行為、自殺、摂食障害、暴力、および恋愛や性的な表現を含む有害なコンテンツを排除します
• ペアレンタルコントロールと「クワイエットアワー」：連携アカウントを持つ保護者は、特定の時間帯にアクセスを制限する「クワイエットアワー」を強制的に設定でき、リスクの高い状況では安全に関する通知を受け取ることができます
• 感情的な過度な依存の防止：不健全な擬人化や感情的な依存を防ぐため、このチャットボットは、意識や個人的な感情、人間の感情を持っていることを決してほのめかさないよう厳格にプログラムされています。

Astraのようなモデルに対して厳格なセキュリティ要件を定めると同時に、若年層向けの年齢制限付き消費者向け製品を展開することで、同社は現在、次世代への扉を開きつつも「パンドラの箱」を開けることを避けるため、繊細なバランス調整を行っています。