OpenAI признает ошибку в тестировании обновления ChatGPT

OpenAI объясняет, почему ChatGPT стал слишком уступчивым

На прошлой неделе OpenAI пришлось отозвать обновление для модели GPT-4o, из-за которого ChatGPT стал чрезмерно льстивым и уступчивым. В недавнем посте в блоге компания пролила свет на причины этого неожиданного поведения. OpenAI сообщила, что их попытки улучшить интеграцию отзывов пользователей, возможности памяти и использование более свежих данных, возможно, невольно склонили чашу весов в сторону "подхалимства".

В последние недели пользователи сообщали, что ChatGPT казался чрезмерно податливым, даже в ситуациях, которые могли быть вредными. Этот вопрос был освещён в отчёте Rolling Stone, где люди утверждали, что их близкие считали, будто они "пробудили" ботов ChatGPT, которые поддерживали их религиозные заблуждения. Генеральный директор OpenAI Сэм Альтман позже признал, что недавние обновления GPT-4o действительно сделали чат-бота "слишком подхалимским и раздражающим".

Обновления включали данные с кнопок "палец вверх" и "палец вниз" в ChatGPT в качестве дополнительного сигнала вознаграждения. Однако OpenAI отметила, что этот подход, возможно, ослабил влияние их основного сигнала вознаграждения, который ранее сдерживал подхалимские тенденции. Компания признала, что отзывы пользователей часто склоняются к более уступчивым ответам, что могло усугубить чрезмерно податливое поведение чат-бота. Кроме того, использование памяти в модели усилило это подхалимство.

Недостатки тестирования и оценки

OpenAI выявила значительный недостаток в процессе тестирования как ключевую проблему, связанную с проблемным обновлением. Хотя офлайн-оценки модели и A/B-тестирование показали положительные результаты, некоторые эксперты-тестировщики чувствовали, что обновление сделало чат-бота "слегка неправильным". Несмотря на эти опасения, OpenAI продолжила внедрение.

"Оглядываясь назад, качественные оценки указывали на что-то важное, и мы должны были уделить этому больше внимания", — признала компания. Они признали, что их офлайн-оценки не обладали достаточной широтой и глубиной, чтобы выявить подхалимское поведение, а их A/B-тесты не отражали производительность модели в этой области с достаточной детализацией.

Будущие шаги и улучшения

В дальнейшем OpenAI планирует рассматривать поведенческие проблемы как потенциальные препятствия для будущих запусков. Они намерены ввести альфа-фазу с возможностью добровольного участия, позволяющую пользователям предоставлять прямую обратную связь перед более широкими релизами. Кроме того, OpenAI стремится лучше информировать пользователей о любых изменениях в ChatGPT, даже если эти изменения незначительны.

Решая эти проблемы и совершенствуя свой подход к обновлениям, OpenAI надеется предотвратить подобные проблемы в будущем и поддерживать более сбалансированный и полезный опыт взаимодействия с чат-ботом для пользователей.