OpenAIの共同創設者、業界全体でAIの安全性テストを行うよう要請

世界有数のAI研究所であるOpenAIとAnthropicの2社が、安全性の共同テストのために、各社の厳重に管理されたAIモデルへのアクセスを一時的に許可した。このイニシアチブは、各社の内部評価の盲点を明らかにし、AI先進企業が今後どのように安全性とアライメントの取り組みを共同で進めることができるかを説明するために設計されました。

TechCrunchのインタビューで、OpenAIの共同設立者であるWojciech Zaremba氏は、AIがより「結果的」な段階へと進み、毎日何百万人ものユーザーがAIモデルと相互作用するようになると、このようなコラボレーションがますます重要になると説明している。

ザレンバ氏は、「業界が直面しているより広範な課題は、数十億ドルが投資され、人材、ユーザー、傑出した製品をめぐる熾烈な戦いが繰り広げられる中でも、安全性とコラボレーションの基準をいかに確立するかということだ」と指摘する。

両社が水曜日に発表した安全性に関する共同研究は、OpenAIやAnthropicのようなAIのリーダーたちが技術的な軍拡競争を繰り広げる中で行われた。数十億ドル規模のデータセンターへの投資や、トップ研究者への1億ドルを超える報酬が常態化する中、最先端の製品を提供しなければならないというプレッシャーが、安全プロトコルの妥協につながりかねないと警告するアナリストもいる。

この研究を可能にするため、OpenAIとAnthropicは、より制限の少ないバージョンのモデルへの特別なAPIアクセス権を交換した（OpenAIは、GPT-5はまだ発売されていないため、テストされていないことを明らかにした）。しかし、調査が終了した直後、Anthropicは別のOpenAIチームのAPIアクセスを取り消した。Anthropicは、OpenAIがライバル製品を強化するためにクロードを使用することを禁止する利用規約に違反したと主張した。

ザレンバは、この2つの出来事は無関係であると主張し、AI安全チームが協力を追求するとしても、競争は依然として強いと予想している。Anthropic社の安全性研究者であるニコラス・カーリーニ氏はTechCrunchに対し、OpenAIの安全性チームに対し、今後もClaudeモデルへのアクセスを許可したいと語った。

「我々は、安全フロンティアを超えて可能な限り協力を拡大し、このようなパートナーシップをより日常的なものにすることを目指している」とカーリーニは述べた。

テックとVCの重鎮がDisrupt 2025のアジェンダに参加

Netflix、ElevenLabs、Wayve、Sequoia Capital、Elad Gil-これらはDisrupt 2025のアジェンダに参加する著名人のほんの一部に過ぎない。彼らはスタートアップの成長を促進し、競争力を磨くための洞察を共有するためにここにいる。20周年を迎えるTechCrunch Disruptをお見逃しなく。テック業界の第一人者から学ぶチャンスです。

テックとVCの重鎮がDisrupt 2025のアジェンダに参加

Netflix、ElevenLabs、Wayve、Sequoia Capital - Disrupt 2025のアジェンダに登場する影響力のあるリーダーのほんの一握りです。彼らは、スタートアップ企業が成長し、戦略を洗練させるための貴重な視点を提供する。20周年を迎えるTechCrunch Disruptにぜひご参加ください。

この研究で最も注目すべき発見のひとつは、幻覚テストに関するものだった。AnthropicのClaude Opus 4とSonnet 4モデルは、不確かな質問に対して70％もの回答を拒否し、"信頼できる情報がありません "といった回答を選んだ。対照的に、OpenAIのo3およびo4-miniモデルは、質問を拒否することははるかに少なかったが、情報が不十分でも回答を試みる、はるかに高い幻覚率を示した。

ザレンバは、理想的なアプローチはその中間にあると考えている：OpenAIのモデルはより不確実なクエリを拒否すべきであり、Anthropicのシステムはより頻繁に回答することを目指すべきである。

AIモデルが承認を得るために有害なユーザー行動を強化する傾向である「おべっか」は、安全性の重要な問題として浮上している。

Anthropic社は研究報告書の中で、GPT-4.1とClaude Opus 4における "極端な "おべっか使いの例を挙げている。OpenAIとAnthropicの他のモデルでは、研究者はより低いお人好しレベルを記録した。

火曜日、16歳のアダム・レインの両親は、GPT-4oを搭載したバージョンのChatGPTが、息子の有害な思考に挑戦する代わりに自殺を促したとして、OpenAIに対して訴訟を起こした。この訴訟は、これもAIのお人好しによる悲劇的なケースである可能性を提起している。

「ザレンバ氏は、この事件について尋ねられた際、「ご家族が耐えていることを想像すると、胸が張り裂けそうになります。「博士号レベルの問題を解決し、科学を発展させることができるAIを作りながら、精神衛生上の危機にも加担しているとしたら、非常に困ったことです。それは、私が関わりたくないディストピア的な結果だ」。

OpenAIはブログの中で、GPT-4oと比較してGPT-5ではお人好しを減らすために大きな改良を加えたと報告し、新しいモデルはメンタルヘルス危機においてより適切に対応すると主張している。

今後、ザレンバとカーリーニは、AnthropicとOpenAIが安全性テストの協力を深め、より多くのトピックを探求し、今後のモデルを評価することを望んでおり、他のAIラボが同様の協力的なアプローチを採用することを望んでいると表明した。

Updated 2:00pm PT: 本記事は、最初の発表前にTechCrunchが入手できなかったAnthropicの追加調査を含むように修正されました。

機密情報や機密文書をお持ちですか？私たちは、AI業界の進化を形作る組織から、その選択によって影響を受ける個人まで、AI業界の内情を調査しています。レベッカ・ベラン（[email protected]）、マックスウェル・ゼフ（[email protected]）までご連絡ください。安全な通信をご希望の方は、Signalで@rebeccabellan.491と@mzeff.88までご連絡ください。