OpenAI、プロンプトインジェクションに対するChatGPTのセキュリティを強化
OpenAIは、AIシステムがウェブサイトや外部アプリケーションとやり取りする際に発生する「プロンプトインジェクション攻撃」という脅威の高まりに対抗するため、ChatGPT向けに2つの新しい高度なセキュリティ機能を導入しました。この種の攻撃により、悪意のある攻撃者がAIを操作し、有害な行動をとらせたり、機密データを漏洩させたりする可能性があります。これらの新機能はいずれも、サンドボックス環境、URLデータ漏洩防止、その他の多層的なセキュリティプロトコルなど、プラットフォームの既存の防御機能を強化するものです。

最初の機能は「ロックダウンモード」です。これは、一般的なユーザーではなく、厳格なセキュリティ要件を持つユーザー向けに設計された、オプションの高度な設定です。ChatGPTが外部システムと通信する方法に厳格な制御を課すことで、データ漏洩のリスクを大幅に低減します。このモードでは、潜在的な攻撃経路となり得るツールを事前に無効化または制限します。例えば、ウェブブラウジング機能はキャッシュされたコンテンツにのみアクセスし、堅牢なセキュリティ保証のない機能は完全に無効化されます。
現在、このモードはChatGPT Enterprise、Education、Healthcare、およびTeacherエディションで利用可能です。管理者はダッシュボード設定で特定のロールを作成することでこのモードを有効化でき、ロックダウンモードが有効な間、どの外部アプリケーションやアクションを許可するかを正確に定義することも可能です。OpenAIは今後数ヶ月以内に、一般ユーザーにもこのモードを提供する予定です。さらに、「コンプライアンスAPIログプラットフォーム」は、管理者がアプリケーションの使用状況やデータ共有の実践に関する規制監査を実施するのを支援します。
2つ目の措置は、ChatGPT、ChatGPT Atlas、およびCodex内のリスクの高い機能に一貫して**「Elevated Risk(高リスク)」**ラベルを付与し、潜在的な脅威をユーザーに伝達する方法を標準化することです。
OpenAIは、特定のインターネット接続機能はAIの有用性を高める一方で、現在の業界の安全対策では完全に軽減されていないリスクを依然として孕んでいると説明しています。このラベルは、こうしたリスクを明確に可視化し、特に機密情報が関わる状況において、ユーザーが機能の利用について十分な情報に基づいた判断を下せるようにします。例えば、開発者がCodexのインターネットアクセスを有効にした場合、インターフェースにこのラベルが表示され、それによって生じる変更点、潜在的な危険性、適切な使用例、およびリスク低減のための推奨事項が詳細に示されます。
関連記事
AIモデルルーティングが勢いを増す中、StripeがOpenRouterを買収へ
Stripeは、開発者が単一のインターフェースを通じて数百のモデルにアクセスできるAIモデルルーティングプラットフォーム「OpenRouter」の買収に合意した。この買収により、StripeのAI活用やトークンベースの課金に関する既存の取り組みに、モデルの選択およびルーティング機能が追加されることになる。Stripeによると、OpenRouterは80社以上のプロバイダーが提供する400以上のモデ
OpenAIの元研究員バレット・ゾフ氏が、Geminiの開発を支援するためGoogleに復帰
以前、Thinking Machines LabのCEOであるミリアム・ムララティ氏との意見の相違により、突然同社を退社してOpenAIに加わったバレット・ゾフ氏が、再び転職した。Alphabet傘下のGoogleは、ゾフ氏が研究担当副社長として復帰し、強化学習とポストトレーニングに関する専門知識をGeminiチームにもたらすことを発表した。「回転ドア」式研究者のサイクルゾフ氏のキャリアは、AI人
Recursive Intelligenceが4か月で40億ドルの評価額に基づき3億3500万ドルを調達した経緯
スタートアップ「Ricursive Intelligence」の共同創業者たちは、まるで共同創業者になる運命にあったかのようだった。CEOのアンナ・ゴールディ氏とCTOのアザリア・ミルホセイニ氏は、AIコミュニティでは非常に有名であり、ゴールディ氏はTechCrunchに対し、「ザッカーバーグから、とんでもないオファーが書かれた奇妙なメールを受け取ったAIエンジニアたち」の一人だったと、笑いながら
関連特集おすすめ
コメント (0)
0/500
OpenAIは、AIシステムがウェブサイトや外部アプリケーションとやり取りする際に発生する「プロンプトインジェクション攻撃」という脅威の高まりに対抗するため、ChatGPT向けに2つの新しい高度なセキュリティ機能を導入しました。この種の攻撃により、悪意のある攻撃者がAIを操作し、有害な行動をとらせたり、機密データを漏洩させたりする可能性があります。これらの新機能はいずれも、サンドボックス環境、URLデータ漏洩防止、その他の多層的なセキュリティプロトコルなど、プラットフォームの既存の防御機能を強化するものです。

最初の機能は「ロックダウンモード」です。これは、一般的なユーザーではなく、厳格なセキュリティ要件を持つユーザー向けに設計された、オプションの高度な設定です。ChatGPTが外部システムと通信する方法に厳格な制御を課すことで、データ漏洩のリスクを大幅に低減します。このモードでは、潜在的な攻撃経路となり得るツールを事前に無効化または制限します。例えば、ウェブブラウジング機能はキャッシュされたコンテンツにのみアクセスし、堅牢なセキュリティ保証のない機能は完全に無効化されます。
現在、このモードはChatGPT Enterprise、Education、Healthcare、およびTeacherエディションで利用可能です。管理者はダッシュボード設定で特定のロールを作成することでこのモードを有効化でき、ロックダウンモードが有効な間、どの外部アプリケーションやアクションを許可するかを正確に定義することも可能です。OpenAIは今後数ヶ月以内に、一般ユーザーにもこのモードを提供する予定です。さらに、「コンプライアンスAPIログプラットフォーム」は、管理者がアプリケーションの使用状況やデータ共有の実践に関する規制監査を実施するのを支援します。
2つ目の措置は、ChatGPT、ChatGPT Atlas、およびCodex内のリスクの高い機能に一貫して**「Elevated Risk(高リスク)」**ラベルを付与し、潜在的な脅威をユーザーに伝達する方法を標準化することです。
OpenAIは、特定のインターネット接続機能はAIの有用性を高める一方で、現在の業界の安全対策では完全に軽減されていないリスクを依然として孕んでいると説明しています。このラベルは、こうしたリスクを明確に可視化し、特に機密情報が関わる状況において、ユーザーが機能の利用について十分な情報に基づいた判断を下せるようにします。例えば、開発者がCodexのインターネットアクセスを有効にした場合、インターフェースにこのラベルが表示され、それによって生じる変更点、潜在的な危険性、適切な使用例、およびリスク低減のための推奨事項が詳細に示されます。
AIモデルルーティングが勢いを増す中、StripeがOpenRouterを買収へ
Stripeは、開発者が単一のインターフェースを通じて数百のモデルにアクセスできるAIモデルルーティングプラットフォーム「OpenRouter」の買収に合意した。この買収により、StripeのAI活用やトークンベースの課金に関する既存の取り組みに、モデルの選択およびルーティング機能が追加されることになる。Stripeによると、OpenRouterは80社以上のプロバイダーが提供する400以上のモデ
OpenAIの元研究員バレット・ゾフ氏が、Geminiの開発を支援するためGoogleに復帰
以前、Thinking Machines LabのCEOであるミリアム・ムララティ氏との意見の相違により、突然同社を退社してOpenAIに加わったバレット・ゾフ氏が、再び転職した。Alphabet傘下のGoogleは、ゾフ氏が研究担当副社長として復帰し、強化学習とポストトレーニングに関する専門知識をGeminiチームにもたらすことを発表した。「回転ドア」式研究者のサイクルゾフ氏のキャリアは、AI人
Recursive Intelligenceが4か月で40億ドルの評価額に基づき3億3500万ドルを調達した経緯
スタートアップ「Ricursive Intelligence」の共同創業者たちは、まるで共同創業者になる運命にあったかのようだった。CEOのアンナ・ゴールディ氏とCTOのアザリア・ミルホセイニ氏は、AIコミュニティでは非常に有名であり、ゴールディ氏はTechCrunchに対し、「ザッカーバーグから、とんでもないオファーが書かれた奇妙なメールを受け取ったAIエンジニアたち」の一人だったと、笑いながら





家






