元オペナイポリシーリードAIの安全性の物語を変更したことをリードしています

# openai # policy

元Openaiの政策研究者であるMiles Brundageは最近、ソーシャルメディアに、潜在的にリスクの高いAIシステムを展開するアプローチの「歴史を書き直す」試みと見ているものについてOpenaiを呼びかけました。今週、Openaiは、AIの安全性とアラインメントに関する現在のスタンス、AIシステムを予測可能かつ有益な方法で確保するプロセスを詳述したドキュメントをリリースしました。その中で、Openaiは、AIテクノロジーから「繰り返し展開および学習」する「連続的なパス」として、人間ができるあらゆるタスクができるAGIまたはAIシステムの開発を説明しました。 「不連続な世界[...]安全レッスンは、見かけの力に比べて最大の注意を払って今日のシステムを扱うことから来ています。これは、[AIモデル] GPT-2にとったアプローチです」とOpenaiは文書に述べています。 「私たちは今、最初のAGIを、継続的な世界で有用性を高める一連のシステムに沿った1つのポイントに沿っていると考えています。次のシステムを安全で有益なものにする方法は、現在のシステムから学ぶことです。」しかし、Brundageは、GPT-2で取られた慎重なアプローチは、Openaiの現在の反復展開戦略と完全に一致していると主張しています。 「私が関与していたGPT-2のOpenaiのリリースは、Xに投稿されたBrundageが投稿したBrundageは、Openaiの現在の繰り返し展開哲学と100％一貫していました。「モデルは段階的にリリースされ、各ステップでレッスンが共有されました。 2018年に研究科学者としてOpenaiに入社し、後にOpenaiの「AGI Readiness」チームに携わっている間、ChatGPTのような言語生成システムの責任ある展開に焦点を当てたBrundageが同社の政策研究責任者になりました。 2019年にOpenaiによって発表されたGPT-2は、ChatGptの背後にあるAIシステムの前身でした。質問に答え、記事を要約し、人間の執筆と区別できないテキストを生成することができます。 GPT-2は今では基本的に見えるかもしれませんが、当時は画期的でした。潜在的な誤用に関する懸念のため、Openaiは最初にモデルのソースコードを差し控え、代わりにSelect Newsletsがデモへのアクセスを制限できるようにしました。この決定は、AIコミュニティから混合フィードバックを受け取りました。 GPT-2に関連するリスクは誇張されており、誤用に関するOpenaiの懸念を裏付ける証拠はなかったと主張する人もいました。 AIに焦点を当てた出版物The Gradientは、その技術的意義を引用して、モデルをリリースするようOpenaiに促す公開書簡を公開しました。 Openaiは、最終的に発表から6か月後にGPT-2の部分バージョンをリリースし、数か月後に完全なシステムが続きました。ブランデージは、これが正しいアプローチであると信じています。 「[GPT-2リリース]のどの部分がAGIを不連続と考えていると考えているか、前提としていたのは、それがいずれかと考えていませんでしたか？」と彼はXで述べました。 Brundageは、Openaiの文書が、差し迫った危険の圧倒的な証拠がない限り、懸念が警戒態勢として却下される高い証拠の負担を確立することを目的としていることを懸念しています。彼は、この考え方が高度なAIシステムにとって「非常に危険」だと感じています。 「私がまだOpenaiで働いていたら、なぜこの[文書]がそのように書かれたのか、そしてオープンはそのようなLopの側面でうんちをすることによって達成したいと思っていることを尋ねるでしょう」とBrundageは付け加えました。 Openaiは、過去に、安全性よりも「光沢のある製品」を優先し、競合他社を上回るリリースを急いでいるという批判に直面してきました。昨年、同社はAGI準備チームを解散し、いくつかのAIの安全および政策研究者がライバル企業に去りました。競争力のある景観は強化されており、中国のAIラボDeepseekのR1モデルが公然と利用可能であり、キーベンチマークでOpenaiのO1「推論」モデルと一致し、世界的な注目を集めています。 Openai CEOのSam Altmanは、DeepseekがOpenaiの技術的リードを狭め、Openaiがリリーススケジュールの加速を検討するよう促したことを認めています。 Openaiは年間数十億を失い、2026年までに140億ドルに3倍の損失を投影することで、製品のリリースサイクルがより速くなると、短期的な利益を増やすことができますが、長期的な安全性を損なう可能性があります。 Brundageのような専門家は、このトレードオフが価値があるかどうかを疑問視しています。

関連記事

コメント (30)