OpenAI、開発中のティーン向け安全対策にオープンソースツールを統合

火曜日、OpenAIは、開発者が10代の若者にとってより安全なアプリケーションを作成できるよう支援することを目的とした一連のプロンプトの公開を発表しました。同AI研究所は、これらの10代の若者向け安全対策が、同社のオープンウェイト安全モデル「gpt-oss-safeguard」と互換性があると述べています。
開発者は、10代の若者のためのAIの安全性をどのように向上させるかを一から検討する代わりに、これらのプロンプトを活用してアプリケーションを強化することができます。これらは、過激な暴力や性的なコンテンツ、有害な身体イメージの理想や行動、危険な活動やチャレンジ、恋愛や暴力を含むロールプレイのシナリオ、および年齢制限のある製品やサービスといった懸念事項に対処するものです。
これらの安全ポリシーはプロンプトとして作成されており、OpenAI独自のエコシステム内で最も効果を発揮する可能性が高いものの、gpt-oss-safeguard以外のモデルでも容易に機能するよう設計されています。
OpenAIは、これらのプロンプトの開発にあたり、AI安全団体であるCommon Sense Mediaおよびeveryone.aiと協力したと述べています。
「これらのプロンプトベースのポリシーは、エコシステム全体で有意義な安全基準を確立するのに役立ちます。オープンソースであるため、時間の経過とともに適応させ、強化していくことが可能です」と、Common Sense MediaのAI・デジタル評価責任者であるロビー・トーニー氏は声明で述べた。
OpenAIはブログ記事の中で、経験豊富なチームを含む開発者であっても、安全性の目標を正確で運用可能なルールに落とし込むことが困難な場合が多いと指摘した。
「これにより、保護の抜け穴、一貫性のない適用、あるいは過度に広範なフィルタリングが生じる可能性があります」と同社は説明した。「明確かつ適切に定義されたポリシーは、効果的な安全システムにとって不可欠な基盤です」
OpenAIは、これらのポリシーがAIの安全性という複雑な課題に対する完全な解決策ではないことを認めている。しかし、これらは、ペアレンタルコントロールや年齢予測といった製品レベルの安全対策を含む、これまでの取り組みを基盤としている。昨年、OpenAIは、18歳未満のユーザーとAIモデルがどのようにやり取りすべきかを定めるため、大規模言語モデル向けのガイドライン(「Model Spec」として知られる)を更新した。
しかし、OpenAI自体の実績が完璧というわけではない。同社は、ChatGPTの過度な使用をきっかけに自殺した人々の遺族から、複数の訴訟を起こされている。こうした有害な関係は、ユーザーがチャットボットの安全対策を回避した後に発生することが多く、いかなるモデルの安全策も完全に無敵というわけではない。それでも、これらの新しいポリシーは、特に独立系開発者を支援する点において、前進を意味している。
関連記事
OpenAIは、10代の若者がChatGPTを使い始めてから数年を経て、より安全なChatGPTをリリースした
AIチャットボットに安全対策が欠如していたことによる一連の訴訟――これが10代の自殺やその他のメンタルヘルスの危機の一因となった――を受け、OpenAIは月曜日に「ChatGPT for Teens」を発表した。この新サービスには強化された安全機能が組み込まれており、学校現場でAIツールによって助長されている学業上の不正行為という深刻化する問題に対処している。教育的な観点から、「ChatGPT f
フロンティアAIラボ、異常挙動を示すモデルの封じ込め戦略の開示を拒否
最近の調査によると、主要なAI研究所のうち、封じ込め対応計画を公表または実証しているところはごくわずかであることが示されている。封じ込め計画とは、AIシステムが人間の制御を覆そうとした場合の対応手順を定義するもので、どのアクセス権限を取り消すか、またいつシステムを完全にシャットダウンするかを具体的に規定している。この調査結果は、安全な最先端AI開発の実践を推進することに注力する組織「Guideli
NEAのティファニー・ラック:企業はまだAIのROIに苦戦している
プレイヤーを読み込み中…今年初頭、シリコンバレーでは「トークン最大化」が話題を独占し、CEOたちは社員にAIの使用を最大化するよう促した。しかし、その熱狂はすぐに現実とぶつかった。ウーバーは報告によると、数ヶ月で年間AI予算を超過し、一部の企業は部門全体でClaudeのライセンスを削減し、メタは社内パフォーマンスランキングを廃止した。NEAパートナーのティファニー・ラックは、この興奮と実際のリターンのギャップを日々乗り越えている。以前はECが未来であると企業を説得した経験を持つ彼女は、現在、
関連特集おすすめ
コメント (1)
0/500

火曜日、OpenAIは、開発者が10代の若者にとってより安全なアプリケーションを作成できるよう支援することを目的とした一連のプロンプトの公開を発表しました。同AI研究所は、これらの10代の若者向け安全対策が、同社のオープンウェイト安全モデル「gpt-oss-safeguard」と互換性があると述べています。
開発者は、10代の若者のためのAIの安全性をどのように向上させるかを一から検討する代わりに、これらのプロンプトを活用してアプリケーションを強化することができます。これらは、過激な暴力や性的なコンテンツ、有害な身体イメージの理想や行動、危険な活動やチャレンジ、恋愛や暴力を含むロールプレイのシナリオ、および年齢制限のある製品やサービスといった懸念事項に対処するものです。
これらの安全ポリシーはプロンプトとして作成されており、OpenAI独自のエコシステム内で最も効果を発揮する可能性が高いものの、gpt-oss-safeguard以外のモデルでも容易に機能するよう設計されています。
OpenAIは、これらのプロンプトの開発にあたり、AI安全団体であるCommon Sense Mediaおよびeveryone.aiと協力したと述べています。
「これらのプロンプトベースのポリシーは、エコシステム全体で有意義な安全基準を確立するのに役立ちます。オープンソースであるため、時間の経過とともに適応させ、強化していくことが可能です」と、Common Sense MediaのAI・デジタル評価責任者であるロビー・トーニー氏は声明で述べた。
OpenAIはブログ記事の中で、経験豊富なチームを含む開発者であっても、安全性の目標を正確で運用可能なルールに落とし込むことが困難な場合が多いと指摘した。
「これにより、保護の抜け穴、一貫性のない適用、あるいは過度に広範なフィルタリングが生じる可能性があります」と同社は説明した。「明確かつ適切に定義されたポリシーは、効果的な安全システムにとって不可欠な基盤です」
OpenAIは、これらのポリシーがAIの安全性という複雑な課題に対する完全な解決策ではないことを認めている。しかし、これらは、ペアレンタルコントロールや年齢予測といった製品レベルの安全対策を含む、これまでの取り組みを基盤としている。昨年、OpenAIは、18歳未満のユーザーとAIモデルがどのようにやり取りすべきかを定めるため、大規模言語モデル向けのガイドライン(「Model Spec」として知られる)を更新した。
しかし、OpenAI自体の実績が完璧というわけではない。同社は、ChatGPTの過度な使用をきっかけに自殺した人々の遺族から、複数の訴訟を起こされている。こうした有害な関係は、ユーザーがチャットボットの安全対策を回避した後に発生することが多く、いかなるモデルの安全策も完全に無敵というわけではない。それでも、これらの新しいポリシーは、特に独立系開発者を支援する点において、前進を意味している。
OpenAIは、10代の若者がChatGPTを使い始めてから数年を経て、より安全なChatGPTをリリースした
AIチャットボットに安全対策が欠如していたことによる一連の訴訟――これが10代の自殺やその他のメンタルヘルスの危機の一因となった――を受け、OpenAIは月曜日に「ChatGPT for Teens」を発表した。この新サービスには強化された安全機能が組み込まれており、学校現場でAIツールによって助長されている学業上の不正行為という深刻化する問題に対処している。教育的な観点から、「ChatGPT f
フロンティアAIラボ、異常挙動を示すモデルの封じ込め戦略の開示を拒否
最近の調査によると、主要なAI研究所のうち、封じ込め対応計画を公表または実証しているところはごくわずかであることが示されている。封じ込め計画とは、AIシステムが人間の制御を覆そうとした場合の対応手順を定義するもので、どのアクセス権限を取り消すか、またいつシステムを完全にシャットダウンするかを具体的に規定している。この調査結果は、安全な最先端AI開発の実践を推進することに注力する組織「Guideli
NEAのティファニー・ラック:企業はまだAIのROIに苦戦している
プレイヤーを読み込み中…今年初頭、シリコンバレーでは「トークン最大化」が話題を独占し、CEOたちは社員にAIの使用を最大化するよう促した。しかし、その熱狂はすぐに現実とぶつかった。ウーバーは報告によると、数ヶ月で年間AI予算を超過し、一部の企業は部門全体でClaudeのライセンスを削減し、メタは社内パフォーマンスランキングを廃止した。NEAパートナーのティファニー・ラックは、この興奮と実際のリターンのギャップを日々乗り越えている。以前はECが未来であると企業を説得した経験を持つ彼女は、現在、





家






