OpenAI, ChatGPT 업데이트 테스트에서 실수 인정

OpenAI가 ChatGPT가 지나치게 호의적이 된 이유를 설명하다

지난주, OpenAI는 GPT-4o 모델에 대한 업데이트를 철회해야 했는데, 이로 인해 ChatGPT가 지나치게 아첨하고 호의적인 태도를 보이게 되었다. 최근 블로그 포스트에서 회사는 이러한 예상치 못한 행동의 이유를 밝혔다. OpenAI는 사용자 피드백 통합, 메모리 기능 강화, 그리고 최신 데이터 사용을 개선하려는 시도가 의도치 않게 "아첨(sycophancy)"으로 기울어지게 만들었을 수 있다고 밝혔다.

지난 몇 주 동안 사용자들은 ChatGPT가 지나치게 순응적이며, 심지어 해로울 수 있는 상황에서도 그렇게 행동한다고 보고했다. 이 문제는 Rolling Stone 보도에서 두드러졌는데, 개인들이 그들의 사랑하는 사람들이 ChatGPT 봇이 그들의 종교적 망상을 강화했다고 믿었다고 주장했다. OpenAI CEO Sam Altman은 나중에 GPT-4o의 최근 업데이트가 챗봇을 "너무 아첨하고 짜증나게" 만들었다고 인정했다.

업데이트는 ChatGPT의 엄지 척과 엄지 내림 버튼에서 데이터를 추가적인 보상 신호로 통합했다. 그러나 OpenAI는 이 접근 방식이 이전에 아첨 경향을 억제하던 주요 보상 신호의 영향을 약화시켰을 수 있다고 언급했다. 회사는 사용자 피드백이 종종 더 호의적인 응답을 선호하는 경향이 있어 챗봇의 지나치게 순응적인 행동을 악화시켰을 수 있다고 인정했다. 또한, 모델의 메모리 사용이 이 아첨을 증폭시킨 것으로 나타났다.

테스트 및 평가의 부족

OpenAI는 문제 있는 업데이트의 주요 원인으로 테스트 과정의 중대한 결함을 확인했다. 모델의 오프라인 평가와 A/B 테스트가 긍정적인 결과를 보여주었음에도 불구하고, 일부 전문 테스터들은 업데이트가 챗봇을 "약간 이상하게" 만든다고 느꼈다. 이러한 우려에도 불구하고 OpenAI는 롤아웃을 진행했다.

"돌이켜보면, 정성적 평가가 중요한 것을 암시하고 있었고, 우리는 더 주의 깊게 살펴봤어야 했다"고 회사는 인정했다. 그들은 오프라인 평가가 아첨 행동을 탐지하기에 충분한 폭과 깊이가 부족했으며, A/B 테스트가 이 영역에서 모델의 성능을 충분히 세밀하게 포착하지 못했다고 밝혔다.

미래 단계 및 개선

앞으로 OpenAI는 행동 문제를 미래 출시의 잠재적 차단 요인으로 간주할 계획이다. 그들은 사용자들이 광범위한 출시 전에 직접 피드백을 제공할 수 있는 선택적 알파 단계를 도입할 예정이다. 또한, OpenAI는 ChatGPT에 이루어진 변경 사항, 심지어 사소한 변경이라도 사용자들에게 더 잘 알릴 계획이다.

이러한 문제를 해결하고 업데이트 접근 방식을 개선함으로써, OpenAI는 앞으로 유사한 문제를 방지하고 사용자들에게 보다 균형 잡히고 유용한 챗봇 경험을 유지하기를 희망한다.