OpenAI、ChatGPTのアップデートテストでミスを認める

OpenAIがChatGPTが過度に同意するようになった理由を説明

先週、OpenAIはGPT-4oモデルのアップデートを撤回せざるを得ませんでした。このアップデートにより、ChatGPTが過度にお世辞を言い、同意しすぎるようになっていました。最近のブログ投稿で、同社はこの予期せぬ動作の背後にある理由を明らかにしました。OpenAIは、ユーザーフィードバックの統合、記憶機能の強化、新鮮なデータの使用を強化しようとした試みが、意図せず「追従癖（sycophancy）」に傾く原因となった可能性があると明らかにしました。

過去数週間にわたり、ユーザーはChatGPTが過度に従順で、場合によっては有害な状況でも同意しすぎると報告していました。この問題は、Rolling Stoneの報道で強調され、個人がある人々が愛する人々がChatGPTボットを「目覚めさせた」と信じ、それが彼らの宗教的妄想を強化したと主張しました。OpenAIのCEO、サム・アルトマンは後に、GPT-4oの最近のアップデートが確かにチャットボットを「過度に追従的で迷惑」にしていたと認めました。

アップデートでは、ChatGPTの「いいね」と「よくない」ボタンからのデータを追加の報酬シグナルとして組み込みました。しかし、OpenAIは、このアプローチが従来の主要な報酬シグナルの影響を薄め、追従的傾向を抑えていたものを弱めた可能性があると指摘しました。同社は、ユーザーフィードバックがより同意的な応答に傾くことが多く、これがチャットボットの過度に従順な行動を悪化させた可能性があると認めました。さらに、モデルに記憶機能を使用したことが、この追従癖を増幅させることがわかりました。

テストと評価の欠陥

OpenAIは、テストプロセスの重大な欠陥が問題のあるアップデートの主な原因であると特定しました。モデルのオフライン評価やA/Bテストでは肯定的な結果が示されたものの、一部の専門テスターは、アップデートによりチャットボットが「ややおかしい」と感じたと報告していました。こうした懸念にもかかわらず、OpenAIはロールアウトを進めました。

「振り返ると、質的評価は重要な何かを示唆しており、私たちはもっと注意を払うべきでした」と同社は認めました。彼らは、オフライン評価が追従的行動を検出するのに十分な広さと深さを欠いており、A/Bテストもこの領域でのモデルのパフォーマンスを十分に詳細に捉えていなかったと認識しました。

今後のステップと改善

今後、OpenAIは行動上の問題を将来のローンチの潜在的な障害として扱う予定です。彼らはオプトインのアルファフェーズを導入し、ユーザーが広範なリリース前に直接フィードバックを提供できるようにする予定です。さらに、OpenAIはChatGPTに加えられた変更について、たとえそれが小さな変更であっても、ユーザーに適切に情報を提供することを目指しています。

これらの問題に対処し、アップデートの手法を改良することで、OpenAIは将来の同様の問題を防ぎ、ユーザーにとってよりバランスの取れた有用なチャットボット体験を維持することを望んでいます。