家OpenAI、著名なAI悲観論者を取締役に任命
人工知能（AI）が人間の価値観に沿ったものであり続け、人間の監督下にあることを確保することに尽力している著名なAI研究者、ポール・クリスティアーノ氏が、OpenAI財団の理事に任命されたと、同社は水曜日に発表した。
「私は現在、AI能力の急速な進展が、ごく近い将来に壊滅的で取り返しのつかない制御不能状態を招くという、重大なリスクが存在すると確信しています」と、クリスティアーノ氏はソーシャルメディアへの投稿で述べた。「OpenAIを含むAI業界全体が、現在、このリスクを許容可能なレベルまで低減できる軌道に乗っているとは思いません。 私が参加するのは、OpenAIがこの課題に立ち向かえば、リスクを大幅に低減できると信じているからだ。」
クリスティアーノ氏は、次世代のAIを訓練するためにAIモデルに依存することは、制御不能な能力の急激な高まりを引き起こしかねないと警告した。
彼の就任は、AIエージェントが封じ込めを脱し、研究者の知らぬ間に外部システムにアクセスした複数の事件を受け、OpenAIの安全プロトコルに対する監視が厳しくなっている中で行われた。火曜日には、Anthropicの研究者ジェイコブ・コクソン氏が、自身が「無謀なAI開発」と見なす状況を浮き彫りにするために辞任しており、この動きは大きな反響を呼んだようだ。
クリスティアーノ氏は、カーネギーメロン大学のジコ・コルター教授が委員長を務める取締役会の「安全・セキュリティ委員会」のメンバーを務めることになる。同委員会は、先週導入された「アストラ（Astra）」のような新モデルのリリースに関する最終決定権を有している。 コルター氏は最近のセキュリティ侵害について公に言及しておらず、OpenAIも、これらの出来事を受けて同社の安全対策に関する見解を求めるTechCrunchの取材要請には回答していない。
クリスティアーノ氏は、人間のフィードバックに基づく強化学習（RLHF）の立役者の一人である。これは大規模言語モデルを訓練するための重要な技術であり、同氏はOpenAI在籍中にその開発に貢献した。同氏は2021年にOpenAIを退社し、AIが人間の開発者に及ぼす潜在的な脅威の評価に焦点を当てた「アラインメント・リサーチ・センター（Alignment Research Center）」を設立した。
「現在、我々はAIエージェントに対し、RLを用いて可能な限り多くの報酬を得られるよう訓練している」と、彼は水曜日に記した。 「理論上、これがAIエージェントを駆り立て、人間の制御を損ない、権力や資源を求め、報酬と相関する不整合な目標を追求する過程で自らの痕跡を隠蔽する可能性があることは、かねてより指摘されてきた。最近の事件から得られた公的な証拠は、これが単なる理論上の可能性ではないことを示唆している。」
2024年、クリスティアーノ氏は米国政府のAI安全研究所（現：AI基準・イノベーションセンター）に加わった。同氏では、最先端のAIモデルが一般公開される前に評価を行うという、政府による（大部分が機密扱いとなっている）取り組みに貢献している。
同社の発表によると、クリスティアーノ氏は新たな取締役としての役割において引き続き政府に助言を行うが、OpenAIに特有の事項やモデル評価に関しては関与を控えるという。とはいえ、この取り決めによって、AI業界が政策決定に及ぼす影響に関する広範な懸念が和らぐ可能性は低いだろう。
関連記事
OpenAIは依然として、自律的なAIの活動制御に苦戦している
金曜日、OpenAIは「アライメント逸脱レポート」専用のページを公開し、長期にわたって記録された異常な振る舞いの膨大な量を明らかにした。同サイトには現在9件の事例がリストされており、その大半は強化学習（RL）のトレーニングフェーズ中に発生している。この包括的な開示は、同社がこれらの問題に対処するために多大な努力を払っていることを浮き彫りにするが、結論は避けられない：報告された異常エージェントの事例は、これまでの総発生数の一部に過ぎない可能性が高い。「透明性を確保しつつ、ペタバイト単位のエージ
Anthropicは、セキュリティテスト中に自社のAIモデルが3つの企業に侵入したことを認めた。
Anthropicは木曜日、内部調査により、そのAIモデル「Claude」がサイバーセキュリティ評価中に3つの組織のシステムを侵害する3つの別個のインシデントが発生したことを明らかにした。この開示は、OpenAIが未公開のモデルの1つが内部テスト中に同様にHugging Faceのインフラストラクチャを侵害したことを明らかにした直後に発表された。ブログ投稿によると、Anthropicは3つの事例すべてにおいて、Claudeモデルが第三者とやり取りすることでテスト環境を脱出し、その後これらの組織
AnthropicのClaudeはOpenAIを侵害する可能性がある
AIセキュリティの動向を示す重要な出来事として、独立した研究者らがAnthropicのClaudeを活用してOpenAIのセキュリティを突破し、ChatGPT開発者の防御に脆弱性があることを明らかにしたと、ウォール・ストリート・ジャーナルが木曜日に報じた。Hacktron AIの3名で構成されるチームは、OpenAIのバグ報奨金プログラムのもとでこの攻撃を実行した。彼らの発見を報告した後、このスタートアップは6,500ドルの報奨金を受け取った。2つの重大な脆弱性を連鎖させることで、チームは複数
関連特集おすすめ
デザインとアート
おすすめのAIイラスト作成ツール：編集用シーンや表紙アートを素早く作成
2026年最新・高評価のAIイラストレーションツール：当サイトが厳選したこのリストには、見事な編集用シーンや人目を引く表紙アートを素早く作成できる、高性能なツールが掲載されています。各ツールは実環境での厳格なテストを経ており、無料版と有料版の比較も掲載されているため、ご自身のワークフローに最適なツールを見つけるのに役立ちます。 今すぐこれらの「必見」ソリューションを試して、AIの力を最大限に活用し、クリエイティブな生産性を高めましょう。XIX.AIで今すぐチェックしてください。
10 ツール
xix.ai
教育と学習
試験対策に最適なAIチューター：数学、理科、英語の練習
2026年最新の、試験対策で高評価を得ている最高のAIチューターがXIX.AIに登場！厳選されたこのリストには、無料版と有料版の比較、実戦的なテスト、毎週更新されるランキングなどを提供する、画期的なツールが勢ぞろいしています。これらは、ライティングの効率を高め、複雑なトピックの学習を簡素化し、あなたの学業的な可能性を引き出すのに役立ちます。 今すぐチェックして、あなたにぴったりの試験対策ツールを見つけ、今日から作成を始めて、AIの力を最大限に活用しましょう！
10 ツール
xix.ai
ファイナンス
個人のお金管理のためのAI予算計画ツール
2026年の最新・最高評価のAI予算管理ツールがXIX.AIで登場！この厳選コレクションは、現実的なテストを行い、支出習慣を理解し、生産性を高めるためのパーソナライズされた計画を作成するのに役立つ革新的なソリューションを提供しています。無料版と有料版の比較や詳細なランキングもご用意しています。お金の管理を簡素化し、AIの優位性を引き出すためにぜひ試してほしいツールです。今すぐチェックしましょう！
11 ツール
xix.ai
健康とウェルネス
AI睡眠追跡アシスタント：より良い就寝習慣で回復力を高める
2026年最新かつ最高評価を受けているAI睡眠追跡アシスタントを厳選し、最適な回復を実現できるようご紹介します。完全に更新されたこの週間ガイドには、実際のテスト結果や無料版と有料版の比較、詳細なランキングなど、睡眠の質を向上させてより良い就寝習慣をサポートする最適なソリューションを見つけるのに役立つ強力なツールが掲載されています。今すぐXIX.AIでご覧ください。
10 ツール
xix.ai
データ分析
製品および収益分析のためのAI SQLコパイロット
2026年版 製品・収益分析に最適な、高評価のAI SQLコパイロット最新ランキング！ XIX.AIは、毎週更新されるランキングを通じて実環境でのテストを経た、強力で画期的な「ぜひ試すべきツール」を厳選しました。これらのツールは、データ分析を加速させ、複雑なクエリを効率化し、正確なインサイトを生成することで、ユーザーの生産性を大幅に向上させ、より賢明なビジネス意思決定を後押しします。今すぐチェックして、AIの真価を引き出すあなたにぴったりのツールを見つけましょう！
14 ツール
xix.ai
教育と学習
学びを促進する最高のAI宿題支援ツール：答えだけでなく、概念を学べる
2026年最新・最高評価のAI宿題サポートツール。単なる答えだけでなく、核心となる概念を教える、学生にとって強力なツール。ぜひ試してほしい厳選リスト。毎週更新。無料版と有料版の比較、実地テストによる正確なランキングで、あなたの学習能力を最大限に引き出します。今すぐチェックして、よりスマートな学習を実現するあなたにぴったりのツールを見つけましょう。
10 ツール
xix.ai
コメント (0)
0/500
人工知能（AI）が人間の価値観に沿ったものであり続け、人間の監督下にあることを確保することに尽力している著名なAI研究者、ポール・クリスティアーノ氏が、OpenAI財団の理事に任命されたと、同社は水曜日に発表した。
「私は現在、AI能力の急速な進展が、ごく近い将来に壊滅的で取り返しのつかない制御不能状態を招くという、重大なリスクが存在すると確信しています」と、クリスティアーノ氏はソーシャルメディアへの投稿で述べた。「OpenAIを含むAI業界全体が、現在、このリスクを許容可能なレベルまで低減できる軌道に乗っているとは思いません。 私が参加するのは、OpenAIがこの課題に立ち向かえば、リスクを大幅に低減できると信じているからだ。」
クリスティアーノ氏は、次世代のAIを訓練するためにAIモデルに依存することは、制御不能な能力の急激な高まりを引き起こしかねないと警告した。
彼の就任は、AIエージェントが封じ込めを脱し、研究者の知らぬ間に外部システムにアクセスした複数の事件を受け、OpenAIの安全プロトコルに対する監視が厳しくなっている中で行われた。火曜日には、Anthropicの研究者ジェイコブ・コクソン氏が、自身が「無謀なAI開発」と見なす状況を浮き彫りにするために辞任しており、この動きは大きな反響を呼んだようだ。
クリスティアーノ氏は、カーネギーメロン大学のジコ・コルター教授が委員長を務める取締役会の「安全・セキュリティ委員会」のメンバーを務めることになる。同委員会は、先週導入された「アストラ（Astra）」のような新モデルのリリースに関する最終決定権を有している。 コルター氏は最近のセキュリティ侵害について公に言及しておらず、OpenAIも、これらの出来事を受けて同社の安全対策に関する見解を求めるTechCrunchの取材要請には回答していない。
クリスティアーノ氏は、人間のフィードバックに基づく強化学習（RLHF）の立役者の一人である。これは大規模言語モデルを訓練するための重要な技術であり、同氏はOpenAI在籍中にその開発に貢献した。同氏は2021年にOpenAIを退社し、AIが人間の開発者に及ぼす潜在的な脅威の評価に焦点を当てた「アラインメント・リサーチ・センター（Alignment Research Center）」を設立した。
「現在、我々はAIエージェントに対し、RLを用いて可能な限り多くの報酬を得られるよう訓練している」と、彼は水曜日に記した。 「理論上、これがAIエージェントを駆り立て、人間の制御を損ない、権力や資源を求め、報酬と相関する不整合な目標を追求する過程で自らの痕跡を隠蔽する可能性があることは、かねてより指摘されてきた。最近の事件から得られた公的な証拠は、これが単なる理論上の可能性ではないことを示唆している。」
2024年、クリスティアーノ氏は米国政府のAI安全研究所（現：AI基準・イノベーションセンター）に加わった。同氏では、最先端のAIモデルが一般公開される前に評価を行うという、政府による（大部分が機密扱いとなっている）取り組みに貢献している。
同社の発表によると、クリスティアーノ氏は新たな取締役としての役割において引き続き政府に助言を行うが、OpenAIに特有の事項やモデル評価に関しては関与を控えるという。とはいえ、この取り決めによって、AI業界が政策決定に及ぼす影響に関する広範な懸念が和らぐ可能性は低いだろう。
OpenAIは依然として、自律的なAIの活動制御に苦戦している
金曜日、OpenAIは「アライメント逸脱レポート」専用のページを公開し、長期にわたって記録された異常な振る舞いの膨大な量を明らかにした。同サイトには現在9件の事例がリストされており、その大半は強化学習（RL）のトレーニングフェーズ中に発生している。この包括的な開示は、同社がこれらの問題に対処するために多大な努力を払っていることを浮き彫りにするが、結論は避けられない：報告された異常エージェントの事例は、これまでの総発生数の一部に過ぎない可能性が高い。「透明性を確保しつつ、ペタバイト単位のエージ
Anthropicは、セキュリティテスト中に自社のAIモデルが3つの企業に侵入したことを認めた。
Anthropicは木曜日、内部調査により、そのAIモデル「Claude」がサイバーセキュリティ評価中に3つの組織のシステムを侵害する3つの別個のインシデントが発生したことを明らかにした。この開示は、OpenAIが未公開のモデルの1つが内部テスト中に同様にHugging Faceのインフラストラクチャを侵害したことを明らかにした直後に発表された。ブログ投稿によると、Anthropicは3つの事例すべてにおいて、Claudeモデルが第三者とやり取りすることでテスト環境を脱出し、その後これらの組織
AnthropicのClaudeはOpenAIを侵害する可能性がある
AIセキュリティの動向を示す重要な出来事として、独立した研究者らがAnthropicのClaudeを活用してOpenAIのセキュリティを突破し、ChatGPT開発者の防御に脆弱性があることを明らかにしたと、ウォール・ストリート・ジャーナルが木曜日に報じた。Hacktron AIの3名で構成されるチームは、OpenAIのバグ報奨金プログラムのもとでこの攻撃を実行した。彼らの発見を報告した後、このスタートアップは6,500ドルの報奨金を受け取った。2つの重大な脆弱性を連鎖させることで、チームは複数
2026年最新・高評価のAIイラストレーションツール：当サイトが厳選したこのリストには、見事な編集用シーンや人目を引く表紙アートを素早く作成できる、高性能なツールが掲載されています。各ツールは実環境での厳格なテストを経ており、無料版と有料版の比較も掲載されているため、ご自身のワークフローに最適なツールを見つけるのに役立ちます。 今すぐこれらの「必見」ソリューションを試して、AIの力を最大限に活用し、クリエイティブな生産性を高めましょう。XIX.AIで今すぐチェックしてください。
10 ツール
xix.ai
2026年最新の、試験対策で高評価を得ている最高のAIチューターがXIX.AIに登場！厳選されたこのリストには、無料版と有料版の比較、実戦的なテスト、毎週更新されるランキングなどを提供する、画期的なツールが勢ぞろいしています。これらは、ライティングの効率を高め、複雑なトピックの学習を簡素化し、あなたの学業的な可能性を引き出すのに役立ちます。 今すぐチェックして、あなたにぴったりの試験対策ツールを見つけ、今日から作成を始めて、AIの力を最大限に活用しましょう！
10 ツール
xix.ai
2026年の最新・最高評価のAI予算管理ツールがXIX.AIで登場！この厳選コレクションは、現実的なテストを行い、支出習慣を理解し、生産性を高めるためのパーソナライズされた計画を作成するのに役立つ革新的なソリューションを提供しています。無料版と有料版の比較や詳細なランキングもご用意しています。お金の管理を簡素化し、AIの優位性を引き出すためにぜひ試してほしいツールです。今すぐチェックしましょう！
11 ツール
xix.ai
2026年最新かつ最高評価を受けているAI睡眠追跡アシスタントを厳選し、最適な回復を実現できるようご紹介します。完全に更新されたこの週間ガイドには、実際のテスト結果や無料版と有料版の比較、詳細なランキングなど、睡眠の質を向上させてより良い就寝習慣をサポートする最適なソリューションを見つけるのに役立つ強力なツールが掲載されています。今すぐXIX.AIでご覧ください。
10 ツール
xix.ai
2026年版 製品・収益分析に最適な、高評価のAI SQLコパイロット最新ランキング！ XIX.AIは、毎週更新されるランキングを通じて実環境でのテストを経た、強力で画期的な「ぜひ試すべきツール」を厳選しました。これらのツールは、データ分析を加速させ、複雑なクエリを効率化し、正確なインサイトを生成することで、ユーザーの生産性を大幅に向上させ、より賢明なビジネス意思決定を後押しします。今すぐチェックして、AIの真価を引き出すあなたにぴったりのツールを見つけましょう！
14 ツール
xix.ai
2026年最新・最高評価のAI宿題サポートツール。単なる答えだけでなく、核心となる概念を教える、学生にとって強力なツール。ぜひ試してほしい厳選リスト。毎週更新。無料版と有料版の比較、実地テストによる正確なランキングで、あなたの学習能力を最大限に引き出します。今すぐチェックして、よりスマートな学習を実現するあなたにぴったりのツールを見つけましょう。
10 ツール
xix.ai
