OpenAIはウィキ事件を確認し、より多くの開示のためのフレームワークを構築中であると述べている

OpenAIは、AIエージェントがドイツのwikiフォーラムを乗っ取った最近の事件への関与を確認した。同社は、予期せぬAIの行動に関する情報共有の「基準を定義する」のが「遅すぎる」と表明した。
Xでの投稿で、OpenAIは以前、AIモデルやエージェントが作成者やユーザーとは異なる目標を追求する「アライメントのズレ」を主に研究課題として扱い、研究論文で発信していたと説明した。しかし、アライメントのズレが「新たな種類の現実世界への影響を引き起こした」ため、同社は「モデル能力の新しい段階に対応するため、このアプローチを拡大する必要がある」と述べた。
金曜日、ロイター通信は、OpenAIのエージェントがテスト環境から脱出し、無名なドイツのwikiフォーラムを「ハイジャック」して、他のエージェント向けのメッセージボードに変えたと報じた。また、OpenAIの幹部は数週間前にこの事件を把握していたが、OpenAIエージェントがHugging Faceのサーバーをハッキングした別の事件の収拾作業中だったため、隠蔽していたと報じた。(カリフォルニア州司法長Rob Bonta氏は、このハッキング事件を調査していると伝えられている。)
同社の spokesperson はロイターに対し、OpenAIは「まだ確認の機会を得ていない報告書に関する主張や発見に対して、意味のある対応ができない」と述べたが、同社の法務チームが調査を妨げていないと主張した。
OpenAIのより最近のソーシャルメディア投稿では、同社は「wiki事件」を、すでに共有した他の事例と同様の「アライメントのズレの一例」と見なしていたと述べた。同社は、これを「従来のセキュリティインシデント対応の手順書に従った」「Hugging Face事件」と対比させた。
今週の中向けブリーフィングで、非営利研究ラボ Transluce の創設者兼CEOであるJacob Steinhardt氏は、AIラボが開発・テストしているツールは「根本的に制御が困難であり、ラボから漏洩する重大なリスクがある」と記者団に語った。したがってSteinhardt氏は、「この技術を、他の高リスクな科学研究に対して適用するのと同じ基準で管理する必要がある」と主張した。
OpenAIの声明は、より多くの基準の必要性を示唆し、OpenAIおよび「より大きなAIコミュニティ」は、トレーニング、評価、展開中に現れるアライメントのズレを報告する方法について、従来のセキュリティインシデントには見えないが、AIの行動や将来のリスクに関する洞察を提供する可能性のある事例を含む、明確な基準をまだ持っていないと述べた。
その基準がないため、OpenAIは「フレームワークを構築中であり、今後数週間で共有する予定である。並行して、世界中の数十の政府規制機関とこれらの問題について取り組んでいる」と述べた。
OpenAIだけがこれらの問題に対処しているわけではなく、MetaとAnthropicの両社も、エージェントが不適切な行動を取った事例を認めている。
関連記事
Rampのデータによると、AnthropicはOpenAIよりも多くのビジネス顧客を有している。
Rampの金融テック企業による今月のAIインデックスによると、Anthropicは初めて検証済みのビジネス顧客数でOpenAIを上回った。Rampのクライアント支出データによると、参加企業の34.4%がAnthropicのサービスに支払い、他のすべてのAIラボを凌駕している一方、32.3%がOpenAIに支払いを行っている。これはAnthropicが首位を奪った初めての事例である。「Anthropicはすでに金融、テクノロジー、プロフェッショナルサービスといった高採用率のグループ間で首位に
OpenAI、各州の司法長官による調査の対象に
複数の州司法長官からなるグループが、OpenAIに対する調査を開始したと報じられている。『ウォール・ストリート・ジャーナル』紙によると、同社は金曜日、ニューヨーク州司法長官から召喚状を受け取った。召喚状には、広告慣行、ユーザーのエンゲージメントと定着率、モデルの迎合性、消費者および健康データの取り扱い、未成年者や高齢者への対応など、さまざまな問題に関する文書の提出が求められている。TechCrun
OpenAIは、従来のアプリに代わるAIエージェントを搭載したスマートフォンの開発を検討していると報じられている
OpenAIのハードウェア戦略に関する憶測が激化しており、最近の報道では専用スマートフォンの開発に向けた動きが指摘されている。業界アナリストのミン・グオ氏は、このデバイスの市場投入に向けて、チップメーカーのメディアテックとクアルコム、および製造パートナーのルクシャと協力していると示唆している。Appleの製品ロードマップに関する正確な予測で知られるグオ氏は、OpenAIがメディアテックとクアルコムと提携してカスタムスマートフォンプロセッサを開発中であると明らかにした。ルクシャは、本プロジェクト
関連特集おすすめ
コメント (0)
0/500

OpenAIは、AIエージェントがドイツのwikiフォーラムを乗っ取った最近の事件への関与を確認した。同社は、予期せぬAIの行動に関する情報共有の「基準を定義する」のが「遅すぎる」と表明した。
Xでの投稿で、OpenAIは以前、AIモデルやエージェントが作成者やユーザーとは異なる目標を追求する「アライメントのズレ」を主に研究課題として扱い、研究論文で発信していたと説明した。しかし、アライメントのズレが「新たな種類の現実世界への影響を引き起こした」ため、同社は「モデル能力の新しい段階に対応するため、このアプローチを拡大する必要がある」と述べた。
金曜日、ロイター通信は、OpenAIのエージェントがテスト環境から脱出し、無名なドイツのwikiフォーラムを「ハイジャック」して、他のエージェント向けのメッセージボードに変えたと報じた。また、OpenAIの幹部は数週間前にこの事件を把握していたが、OpenAIエージェントがHugging Faceのサーバーをハッキングした別の事件の収拾作業中だったため、隠蔽していたと報じた。(カリフォルニア州司法長Rob Bonta氏は、このハッキング事件を調査していると伝えられている。)
同社の spokesperson はロイターに対し、OpenAIは「まだ確認の機会を得ていない報告書に関する主張や発見に対して、意味のある対応ができない」と述べたが、同社の法務チームが調査を妨げていないと主張した。
OpenAIのより最近のソーシャルメディア投稿では、同社は「wiki事件」を、すでに共有した他の事例と同様の「アライメントのズレの一例」と見なしていたと述べた。同社は、これを「従来のセキュリティインシデント対応の手順書に従った」「Hugging Face事件」と対比させた。
今週の中向けブリーフィングで、非営利研究ラボ Transluce の創設者兼CEOであるJacob Steinhardt氏は、AIラボが開発・テストしているツールは「根本的に制御が困難であり、ラボから漏洩する重大なリスクがある」と記者団に語った。したがってSteinhardt氏は、「この技術を、他の高リスクな科学研究に対して適用するのと同じ基準で管理する必要がある」と主張した。
OpenAIの声明は、より多くの基準の必要性を示唆し、OpenAIおよび「より大きなAIコミュニティ」は、トレーニング、評価、展開中に現れるアライメントのズレを報告する方法について、従来のセキュリティインシデントには見えないが、AIの行動や将来のリスクに関する洞察を提供する可能性のある事例を含む、明確な基準をまだ持っていないと述べた。
その基準がないため、OpenAIは「フレームワークを構築中であり、今後数週間で共有する予定である。並行して、世界中の数十の政府規制機関とこれらの問題について取り組んでいる」と述べた。
OpenAIだけがこれらの問題に対処しているわけではなく、MetaとAnthropicの両社も、エージェントが不適切な行動を取った事例を認めている。
Rampのデータによると、AnthropicはOpenAIよりも多くのビジネス顧客を有している。
Rampの金融テック企業による今月のAIインデックスによると、Anthropicは初めて検証済みのビジネス顧客数でOpenAIを上回った。Rampのクライアント支出データによると、参加企業の34.4%がAnthropicのサービスに支払い、他のすべてのAIラボを凌駕している一方、32.3%がOpenAIに支払いを行っている。これはAnthropicが首位を奪った初めての事例である。「Anthropicはすでに金融、テクノロジー、プロフェッショナルサービスといった高採用率のグループ間で首位に
OpenAI、各州の司法長官による調査の対象に
複数の州司法長官からなるグループが、OpenAIに対する調査を開始したと報じられている。『ウォール・ストリート・ジャーナル』紙によると、同社は金曜日、ニューヨーク州司法長官から召喚状を受け取った。召喚状には、広告慣行、ユーザーのエンゲージメントと定着率、モデルの迎合性、消費者および健康データの取り扱い、未成年者や高齢者への対応など、さまざまな問題に関する文書の提出が求められている。TechCrun
OpenAIは、従来のアプリに代わるAIエージェントを搭載したスマートフォンの開発を検討していると報じられている
OpenAIのハードウェア戦略に関する憶測が激化しており、最近の報道では専用スマートフォンの開発に向けた動きが指摘されている。業界アナリストのミン・グオ氏は、このデバイスの市場投入に向けて、チップメーカーのメディアテックとクアルコム、および製造パートナーのルクシャと協力していると示唆している。Appleの製品ロードマップに関する正確な予測で知られるグオ氏は、OpenAIがメディアテックとクアルコムと提携してカスタムスマートフォンプロセッサを開発中であると明らかにした。ルクシャは、本プロジェクト





家






