OpenAI、開発中のティーン向け安全対策にオープンソースツールを統合

火曜日、OpenAIは、開発者が10代の若者にとってより安全なアプリケーションを作成できるよう支援することを目的とした一連のプロンプトの公開を発表しました。同AI研究所は、これらの10代の若者向け安全対策が、同社のオープンウェイト安全モデル「gpt-oss-safeguard」と互換性があると述べています。
開発者は、10代の若者のためのAIの安全性をどのように向上させるかを一から検討する代わりに、これらのプロンプトを活用してアプリケーションを強化することができます。これらは、過激な暴力や性的なコンテンツ、有害な身体イメージの理想や行動、危険な活動やチャレンジ、恋愛や暴力を含むロールプレイのシナリオ、および年齢制限のある製品やサービスといった懸念事項に対処するものです。
これらの安全ポリシーはプロンプトとして作成されており、OpenAI独自のエコシステム内で最も効果を発揮する可能性が高いものの、gpt-oss-safeguard以外のモデルでも容易に機能するよう設計されています。
OpenAIは、これらのプロンプトの開発にあたり、AI安全団体であるCommon Sense Mediaおよびeveryone.aiと協力したと述べています。
「これらのプロンプトベースのポリシーは、エコシステム全体で有意義な安全基準を確立するのに役立ちます。オープンソースであるため、時間の経過とともに適応させ、強化していくことが可能です」と、Common Sense MediaのAI・デジタル評価責任者であるロビー・トーニー氏は声明で述べた。
OpenAIはブログ記事の中で、経験豊富なチームを含む開発者であっても、安全性の目標を正確で運用可能なルールに落とし込むことが困難な場合が多いと指摘した。
「これにより、保護の抜け穴、一貫性のない適用、あるいは過度に広範なフィルタリングが生じる可能性があります」と同社は説明した。「明確かつ適切に定義されたポリシーは、効果的な安全システムにとって不可欠な基盤です」
OpenAIは、これらのポリシーがAIの安全性という複雑な課題に対する完全な解決策ではないことを認めている。しかし、これらは、ペアレンタルコントロールや年齢予測といった製品レベルの安全対策を含む、これまでの取り組みを基盤としている。昨年、OpenAIは、18歳未満のユーザーとAIモデルがどのようにやり取りすべきかを定めるため、大規模言語モデル向けのガイドライン(「Model Spec」として知られる)を更新した。
しかし、OpenAI自体の実績が完璧というわけではない。同社は、ChatGPTの過度な使用をきっかけに自殺した人々の遺族から、複数の訴訟を起こされている。こうした有害な関係は、ユーザーがチャットボットの安全対策を回避した後に発生することが多く、いかなるモデルの安全策も完全に無敵というわけではない。それでも、これらの新しいポリシーは、特に独立系開発者を支援する点において、前進を意味している。
関連記事
サティヤ・ナデラ、新たなOpenAIとの契約を活用する準備ができている
水曜日に、ウォール・ストリートのアナリストがマイクロソフトのCEOであるサティヤ・ナデラ氏に直接尋ねました。改正されたOpenAIとの提携関係が同社の財務状況にどのような影響を与えるのかと。ナデラ氏はこの新しい協定を「皆にとっての勝利」と表現しました。「OpenAIとの提携については満足しています。私は常にどんな提携でもウィンウィンの関係を築くことに重点を置いています。そうすることで、長期的に良いパートナーシップを維持できるからです。」彼は、マイクロソフトが依然としてOpenAIの知的財産、
OpenAIは、公的基金、ロボット税、週4日勤務制を柱とするAI経済の構想を提示した
各国政府が超知能機械による経済的影響への対応に苦慮する中、OpenAIは「知能の時代」において富と労働がどのように再構築されるべきかを概説した一連の政策提言を発表した。その構想は、公的資産基金や社会安全網の拡充といった伝統的な左派的な仕組みと、根本的に資本主義的で市場主導型の経済枠組みとを融合させたものである。OpenAIの提案は本質的に「要望リスト」に相当し、人工知能が労働と経済を変革する中で、
グレッグ・ブロックマンが、イーロン・マスクがOpenAIを去った経緯を明かす
2017年8月下旬、当時まだ小規模な非営利研究機関だったOpenAIの主要メンバーは、自社の技術を商用化し、汎用人工知能(AGI)の実現に必要な資金を調達するために、営利法人をどのように設立すべきかについて協議した。イーロン・マスクは同社の完全な支配権を要求しており、ちょうどその直前に共同創業者たち一人ひとりにテスラ「モデル3」を贈っていた。CTOのグレッグ・ブロックマンは、マスクとサム・アルトマ
関連特集おすすめ
コメント (0)
0/500

火曜日、OpenAIは、開発者が10代の若者にとってより安全なアプリケーションを作成できるよう支援することを目的とした一連のプロンプトの公開を発表しました。同AI研究所は、これらの10代の若者向け安全対策が、同社のオープンウェイト安全モデル「gpt-oss-safeguard」と互換性があると述べています。
開発者は、10代の若者のためのAIの安全性をどのように向上させるかを一から検討する代わりに、これらのプロンプトを活用してアプリケーションを強化することができます。これらは、過激な暴力や性的なコンテンツ、有害な身体イメージの理想や行動、危険な活動やチャレンジ、恋愛や暴力を含むロールプレイのシナリオ、および年齢制限のある製品やサービスといった懸念事項に対処するものです。
これらの安全ポリシーはプロンプトとして作成されており、OpenAI独自のエコシステム内で最も効果を発揮する可能性が高いものの、gpt-oss-safeguard以外のモデルでも容易に機能するよう設計されています。
OpenAIは、これらのプロンプトの開発にあたり、AI安全団体であるCommon Sense Mediaおよびeveryone.aiと協力したと述べています。
「これらのプロンプトベースのポリシーは、エコシステム全体で有意義な安全基準を確立するのに役立ちます。オープンソースであるため、時間の経過とともに適応させ、強化していくことが可能です」と、Common Sense MediaのAI・デジタル評価責任者であるロビー・トーニー氏は声明で述べた。
OpenAIはブログ記事の中で、経験豊富なチームを含む開発者であっても、安全性の目標を正確で運用可能なルールに落とし込むことが困難な場合が多いと指摘した。
「これにより、保護の抜け穴、一貫性のない適用、あるいは過度に広範なフィルタリングが生じる可能性があります」と同社は説明した。「明確かつ適切に定義されたポリシーは、効果的な安全システムにとって不可欠な基盤です」
OpenAIは、これらのポリシーがAIの安全性という複雑な課題に対する完全な解決策ではないことを認めている。しかし、これらは、ペアレンタルコントロールや年齢予測といった製品レベルの安全対策を含む、これまでの取り組みを基盤としている。昨年、OpenAIは、18歳未満のユーザーとAIモデルがどのようにやり取りすべきかを定めるため、大規模言語モデル向けのガイドライン(「Model Spec」として知られる)を更新した。
しかし、OpenAI自体の実績が完璧というわけではない。同社は、ChatGPTの過度な使用をきっかけに自殺した人々の遺族から、複数の訴訟を起こされている。こうした有害な関係は、ユーザーがチャットボットの安全対策を回避した後に発生することが多く、いかなるモデルの安全策も完全に無敵というわけではない。それでも、これらの新しいポリシーは、特に独立系開発者を支援する点において、前進を意味している。
サティヤ・ナデラ、新たなOpenAIとの契約を活用する準備ができている
水曜日に、ウォール・ストリートのアナリストがマイクロソフトのCEOであるサティヤ・ナデラ氏に直接尋ねました。改正されたOpenAIとの提携関係が同社の財務状況にどのような影響を与えるのかと。ナデラ氏はこの新しい協定を「皆にとっての勝利」と表現しました。「OpenAIとの提携については満足しています。私は常にどんな提携でもウィンウィンの関係を築くことに重点を置いています。そうすることで、長期的に良いパートナーシップを維持できるからです。」彼は、マイクロソフトが依然としてOpenAIの知的財産、
OpenAIは、公的基金、ロボット税、週4日勤務制を柱とするAI経済の構想を提示した
各国政府が超知能機械による経済的影響への対応に苦慮する中、OpenAIは「知能の時代」において富と労働がどのように再構築されるべきかを概説した一連の政策提言を発表した。その構想は、公的資産基金や社会安全網の拡充といった伝統的な左派的な仕組みと、根本的に資本主義的で市場主導型の経済枠組みとを融合させたものである。OpenAIの提案は本質的に「要望リスト」に相当し、人工知能が労働と経済を変革する中で、
グレッグ・ブロックマンが、イーロン・マスクがOpenAIを去った経緯を明かす
2017年8月下旬、当時まだ小規模な非営利研究機関だったOpenAIの主要メンバーは、自社の技術を商用化し、汎用人工知能(AGI)の実現に必要な資金を調達するために、営利法人をどのように設立すべきかについて協議した。イーロン・マスクは同社の完全な支配権を要求しており、ちょうどその直前に共同創業者たち一人ひとりにテスラ「モデル3」を贈っていた。CTOのグレッグ・ブロックマンは、マスクとサム・アルトマ





家






