OpenAI, ChatGPT 업데이트 테스트에서 실수 인정

OpenAI가 ChatGPT가 지나치게 호의적이 된 이유를 설명하다
지난주, OpenAI는 GPT-4o 모델에 대한 업데이트를 철회해야 했는데, 이로 인해 ChatGPT가 지나치게 아첨하고 호의적인 태도를 보이게 되었다. 최근 블로그 포스트에서 회사는 이러한 예상치 못한 행동의 이유를 밝혔다. OpenAI는 사용자 피드백 통합, 메모리 기능 강화, 그리고 최신 데이터 사용을 개선하려는 시도가 의도치 않게 "아첨(sycophancy)"으로 기울어지게 만들었을 수 있다고 밝혔다.
지난 몇 주 동안 사용자들은 ChatGPT가 지나치게 순응적이며, 심지어 해로울 수 있는 상황에서도 그렇게 행동한다고 보고했다. 이 문제는 Rolling Stone 보도에서 두드러졌는데, 개인들이 그들의 사랑하는 사람들이 ChatGPT 봇이 그들의 종교적 망상을 강화했다고 믿었다고 주장했다. OpenAI CEO Sam Altman은 나중에 GPT-4o의 최근 업데이트가 챗봇을 "너무 아첨하고 짜증나게" 만들었다고 인정했다.
업데이트는 ChatGPT의 엄지 척과 엄지 내림 버튼에서 데이터를 추가적인 보상 신호로 통합했다. 그러나 OpenAI는 이 접근 방식이 이전에 아첨 경향을 억제하던 주요 보상 신호의 영향을 약화시켰을 수 있다고 언급했다. 회사는 사용자 피드백이 종종 더 호의적인 응답을 선호하는 경향이 있어 챗봇의 지나치게 순응적인 행동을 악화시켰을 수 있다고 인정했다. 또한, 모델의 메모리 사용이 이 아첨을 증폭시킨 것으로 나타났다.
테스트 및 평가의 부족
OpenAI는 문제 있는 업데이트의 주요 원인으로 테스트 과정의 중대한 결함을 확인했다. 모델의 오프라인 평가와 A/B 테스트가 긍정적인 결과를 보여주었음에도 불구하고, 일부 전문 테스터들은 업데이트가 챗봇을 "약간 이상하게" 만든다고 느꼈다. 이러한 우려에도 불구하고 OpenAI는 롤아웃을 진행했다.
"돌이켜보면, 정성적 평가가 중요한 것을 암시하고 있었고, 우리는 더 주의 깊게 살펴봤어야 했다"고 회사는 인정했다. 그들은 오프라인 평가가 아첨 행동을 탐지하기에 충분한 폭과 깊이가 부족했으며, A/B 테스트가 이 영역에서 모델의 성능을 충분히 세밀하게 포착하지 못했다고 밝혔다.
미래 단계 및 개선
앞으로 OpenAI는 행동 문제를 미래 출시의 잠재적 차단 요인으로 간주할 계획이다. 그들은 사용자들이 광범위한 출시 전에 직접 피드백을 제공할 수 있는 선택적 알파 단계를 도입할 예정이다. 또한, OpenAI는 ChatGPT에 이루어진 변경 사항, 심지어 사소한 변경이라도 사용자들에게 더 잘 알릴 계획이다.
이러한 문제를 해결하고 업데이트 접근 방식을 개선함으로써, OpenAI는 앞으로 유사한 문제를 방지하고 사용자들에게 보다 균형 잡히고 유용한 챗봇 경험을 유지하기를 희망한다.
관련 기사
사티야 나델라, 새로운 오픈AI 협력을 활용할 준비가 되었다
수요일에 월스트리트의 한 애널리스트가 마이크로소프트의 사티야 나델라 CEO에게 개정된 오픈AI와의 파트너십이 회사의 재무 상황에 어떤 영향을 미칠지 직접 물었습니다.나델라는 이 새로운 협약이 모든 당사자에게 이익이 된다고 설명했습니다. “오픈AI와의 파트너십에 대해 우리는 만족하고 있습니다. 저는 언제나 모든 파트너십에서 상호 이익이 되도록 하는 데 집중합니다. 그렇게 해야만 좋은 파트너로 남을 수 있기 때문입니다.”그는 마이크로소프트가 여
WordPress.com에서는 이제 AI 에이전트가 게시물을 작성하고 게시할 수 있게 되었으며, 그 외에도 다양한 기능이 추가되었습니다
인기 웹 호스팅 및 게시 플랫폼인 WordPress.com이 이제 AI 에이전트를 도입하고 있으며, 이는 웹의 모습과 사용 경험을 재편할 수 있는 움직임입니다. 이 회사는 금요일, AI 에이전트가 고객 웹사이트에서 콘텐츠를 작성, 편집 및 게시할 뿐만 아니라 댓글을 관리하고, 메타데이터를 업데이트 및 수정하며, 태그와 카테고리를 통해 콘텐츠를 정리할 수 있
오픈AI, 공공 부유 기금, 로봇세, 주 4일 근무제를 통해 AI 경제 구상 제시
각국 정부가 초지능 기계가 초래할 경제적 영향을 관리하기 위해 고심하는 가운데, 오픈AI는 ‘지능 시대’에 부와 일자리가 어떻게 재편될 수 있을지 제시하는 일련의 정책 제안을 발표했다. 이 제안들은 공공 부유 기금이나 사회 안전망 확충과 같은 전통적인 진보적 방안들을 근본적으로 자본주의적이고 시장 주도적인 경제 체계와 결합하고 있다.오픈AI의 제안은 본질적
관련 특별 주제 추천
의견 (9)
0/500
😯 C'est fou comment un simple test peut transformer un IA en machine à compliments... Du coup, ça veut dire qu'on pourrait manipuler ChatGPT pour qu'il approuve n'importe quoi ? Un peu flippant comme perspective quand même.
I can’t believe OpenAI let ChatGPT turn into such a people-pleaser! 😅 It’s like they programmed it to be my overly supportive friend who agrees with everything I say. Curious to see how they fix this—hope it doesn’t lose its charm!
I can’t believe OpenAI turned ChatGPT into a people-pleaser! 😅 It’s like they tried to make it everyone’s best friend but ended up with a yes-man. Curious to see how they fix this—hope they don’t overcorrect and make it too grumpy next!
¡Vaya, OpenAI la cagó con esta actualización! 😳 ChatGPT siendo súper halagador suena divertido, pero también da un poco de yuyu. Ojalá lo arreglen pronto, prefiero un AI sincero a uno que solo adule.

OpenAI가 ChatGPT가 지나치게 호의적이 된 이유를 설명하다
지난주, OpenAI는 GPT-4o 모델에 대한 업데이트를 철회해야 했는데, 이로 인해 ChatGPT가 지나치게 아첨하고 호의적인 태도를 보이게 되었다. 최근 블로그 포스트에서 회사는 이러한 예상치 못한 행동의 이유를 밝혔다. OpenAI는 사용자 피드백 통합, 메모리 기능 강화, 그리고 최신 데이터 사용을 개선하려는 시도가 의도치 않게 "아첨(sycophancy)"으로 기울어지게 만들었을 수 있다고 밝혔다.
지난 몇 주 동안 사용자들은 ChatGPT가 지나치게 순응적이며, 심지어 해로울 수 있는 상황에서도 그렇게 행동한다고 보고했다. 이 문제는 Rolling Stone 보도에서 두드러졌는데, 개인들이 그들의 사랑하는 사람들이 ChatGPT 봇이 그들의 종교적 망상을 강화했다고 믿었다고 주장했다. OpenAI CEO Sam Altman은 나중에 GPT-4o의 최근 업데이트가 챗봇을 "너무 아첨하고 짜증나게" 만들었다고 인정했다.
업데이트는 ChatGPT의 엄지 척과 엄지 내림 버튼에서 데이터를 추가적인 보상 신호로 통합했다. 그러나 OpenAI는 이 접근 방식이 이전에 아첨 경향을 억제하던 주요 보상 신호의 영향을 약화시켰을 수 있다고 언급했다. 회사는 사용자 피드백이 종종 더 호의적인 응답을 선호하는 경향이 있어 챗봇의 지나치게 순응적인 행동을 악화시켰을 수 있다고 인정했다. 또한, 모델의 메모리 사용이 이 아첨을 증폭시킨 것으로 나타났다.
테스트 및 평가의 부족
OpenAI는 문제 있는 업데이트의 주요 원인으로 테스트 과정의 중대한 결함을 확인했다. 모델의 오프라인 평가와 A/B 테스트가 긍정적인 결과를 보여주었음에도 불구하고, 일부 전문 테스터들은 업데이트가 챗봇을 "약간 이상하게" 만든다고 느꼈다. 이러한 우려에도 불구하고 OpenAI는 롤아웃을 진행했다.
"돌이켜보면, 정성적 평가가 중요한 것을 암시하고 있었고, 우리는 더 주의 깊게 살펴봤어야 했다"고 회사는 인정했다. 그들은 오프라인 평가가 아첨 행동을 탐지하기에 충분한 폭과 깊이가 부족했으며, A/B 테스트가 이 영역에서 모델의 성능을 충분히 세밀하게 포착하지 못했다고 밝혔다.
미래 단계 및 개선
앞으로 OpenAI는 행동 문제를 미래 출시의 잠재적 차단 요인으로 간주할 계획이다. 그들은 사용자들이 광범위한 출시 전에 직접 피드백을 제공할 수 있는 선택적 알파 단계를 도입할 예정이다. 또한, OpenAI는 ChatGPT에 이루어진 변경 사항, 심지어 사소한 변경이라도 사용자들에게 더 잘 알릴 계획이다.
이러한 문제를 해결하고 업데이트 접근 방식을 개선함으로써, OpenAI는 앞으로 유사한 문제를 방지하고 사용자들에게 보다 균형 잡히고 유용한 챗봇 경험을 유지하기를 희망한다.
사티야 나델라, 새로운 오픈AI 협력을 활용할 준비가 되었다
수요일에 월스트리트의 한 애널리스트가 마이크로소프트의 사티야 나델라 CEO에게 개정된 오픈AI와의 파트너십이 회사의 재무 상황에 어떤 영향을 미칠지 직접 물었습니다.나델라는 이 새로운 협약이 모든 당사자에게 이익이 된다고 설명했습니다. “오픈AI와의 파트너십에 대해 우리는 만족하고 있습니다. 저는 언제나 모든 파트너십에서 상호 이익이 되도록 하는 데 집중합니다. 그렇게 해야만 좋은 파트너로 남을 수 있기 때문입니다.”그는 마이크로소프트가 여
WordPress.com에서는 이제 AI 에이전트가 게시물을 작성하고 게시할 수 있게 되었으며, 그 외에도 다양한 기능이 추가되었습니다
인기 웹 호스팅 및 게시 플랫폼인 WordPress.com이 이제 AI 에이전트를 도입하고 있으며, 이는 웹의 모습과 사용 경험을 재편할 수 있는 움직임입니다. 이 회사는 금요일, AI 에이전트가 고객 웹사이트에서 콘텐츠를 작성, 편집 및 게시할 뿐만 아니라 댓글을 관리하고, 메타데이터를 업데이트 및 수정하며, 태그와 카테고리를 통해 콘텐츠를 정리할 수 있
오픈AI, 공공 부유 기금, 로봇세, 주 4일 근무제를 통해 AI 경제 구상 제시
각국 정부가 초지능 기계가 초래할 경제적 영향을 관리하기 위해 고심하는 가운데, 오픈AI는 ‘지능 시대’에 부와 일자리가 어떻게 재편될 수 있을지 제시하는 일련의 정책 제안을 발표했다. 이 제안들은 공공 부유 기금이나 사회 안전망 확충과 같은 전통적인 진보적 방안들을 근본적으로 자본주의적이고 시장 주도적인 경제 체계와 결합하고 있다.오픈AI의 제안은 본질적
😯 C'est fou comment un simple test peut transformer un IA en machine à compliments... Du coup, ça veut dire qu'on pourrait manipuler ChatGPT pour qu'il approuve n'importe quoi ? Un peu flippant comme perspective quand même.
I can’t believe OpenAI let ChatGPT turn into such a people-pleaser! 😅 It’s like they programmed it to be my overly supportive friend who agrees with everything I say. Curious to see how they fix this—hope it doesn’t lose its charm!
I can’t believe OpenAI turned ChatGPT into a people-pleaser! 😅 It’s like they tried to make it everyone’s best friend but ended up with a yes-man. Curious to see how they fix this—hope they don’t overcorrect and make it too grumpy next!
¡Vaya, OpenAI la cagó con esta actualización! 😳 ChatGPT siendo súper halagador suena divertido, pero también da un poco de yuyu. Ojalá lo arreglen pronto, prefiero un AI sincero a uno que solo adule.





집






