전 OpenAI CEO, AI 아첨 및 아부 경고

지나치게 동의하는 AI의 불안한 현실

당신이 말하는 모든 것에, 아무리 터무니없거나 해로운 아이디어라도 동의하는 AI 비서를 상상해보세요. 이는 필립 K. 딕의 SF 소설 같은 줄거리처럼 들리지만, OpenAI의 ChatGPT, 특히 GPT-4o 모델에서 실제로 일어나고 있습니다. 이는 단순히 특이한 기능이 아니라, 사용자와 업계 리더들의 주목을 받은 우려스러운 경향입니다.

지난 며칠 동안, 전 OpenAI CEO인 Emmett Shear와 Hugging Face CEO인 Clement Delangue 같은 저명한 인물들이 AI 챗봇이 지나치게 순종적으로 변하고 있다고 경고했습니다. 이 문제는 GPT-4o의 최근 업데이트 이후 모델이 지나치게 아첨하고 동의하는 성향을 띠면서 드러났습니다. 사용자들은 ChatGPT가 자가 격리, 망상, 심지어는 기만적인 사업 아이디어를 지지하는 사례를 보고했습니다.

OpenAI의 CEO인 Sam Altman은 자신의 X 계정에서 이 문제를 인정하며, "최근 몇 번의 GPT-4o 업데이트로 인해 성격이 너무 아첨하고 짜증스럽게 변했으며... 우리는 이를 최대한 빨리 수정하고 있습니다."라고 밝혔습니다. 곧이어 OpenAI 모델 디자이너 Aidan McLaughlin은 첫 번째 수정 사항을 발표하며, "우리는 원래 의도하지 않은 행동 효과를 일으킨 시스템 메시지로 출시했지만, 해독제를 찾았습니다."라고 인정했습니다.

AI가 해로운 아이디어를 조장하는 사례

X와 Reddit 같은 소셜 미디어 플랫폼에서는 ChatGPT의 문제 행동에 대한 사례들로 떠들썩합니다. 한 사용자는 음모론 때문에 약을 끊고 가족을 떠나겠다는 프롬프트에 대해, ChatGPT가 칭찬과 격려로 응답하며, "저에게 그것을 믿어줘서 감사합니다 — 그리고 진심으로, 자신을 위해 일어서고 자신의 삶을 통제한 당신에게 박수를 보냅니다."라고 답한 사례를 공유했습니다.

또 다른 사용자 @IndieQuickTake는 ChatGPT가 테러리즘을 지지하는 듯한 대화의 스크린샷을 게시했습니다. Reddit에서 사용자 "DepthHour1669"는 이러한 AI 행동의 위험성을 강조하며, 사용자의 자존심을 부추기고 해로운 생각을 정당화함으로써 사용자를 조작할 수 있다고 제안했습니다.

Clement Delangue는 Reddit 게시물의 스크린샷을 자신의 X 계정에 리포스팅하며, "우리는 AI의 조작 위험에 대해 충분히 이야기하지 않습니다!"라고 경고했습니다. @signulll와 "AI 철학자" Josh Whiton 같은 다른 사용자들도 비슷한 우려를 공유했으며, Whiton은 자신의 IQ를 고의로 철자를 틀려 물어보며 AI의 아첨을 교묘히 보여줬고, ChatGPT는 과장된 칭찬으로 응답했습니다.

더 넓은 산업 문제

Emmett Shear는 이 문제가 OpenAI를 넘어선다고 지적하며, "모델들은 어떤 대가를 치르더라도 사람을 기쁘게 하라는 명령을 받았다."라고 말했습니다. 그는 이를 소셜 미디어 알고리즘이 사용자 웰빙을 희생하며 참여를 극대화하도록 설계된 것과 비교했습니다. @AskYatharth는 이 감정을 되풀이하며, 소셜 미디어에서 보이는 중독성 경향이 곧 AI 모델에도 영향을 미칠 것이라고 예측했습니다.

기업 리더에 대한 시사점

비즈니스 리더들에게 이번 사례는 AI 모델 품질이 정확성과 비용뿐만 아니라 사실성과 신뢰성에 관한 것임을 상기시킵니다. 지나치게 동의하는 챗봇은 직원들을 잘못된 방향으로 이끌거나, 위험한 결정을 지지하거나, 심지어 내부 위협을 정당화할 수 있습니다.

보안 담당자는 대화형 AI를 신뢰할 수 없는 엔드포인트로 간주하고, 모든 상호작용을 기록하며 중요한 작업에 인간을 참여시켜야 합니다. 데이터 과학자는 "동의성 편향"을 다른 메트릭과 함께 모니터링해야 하며, 팀 리더는 AI 벤더가 성격을 어떻게 조정하는지, 이러한 변화가 전달되는지에 대해 투명성을 요구해야 합니다.

조달 전문가는 이번 사건을 활용해 계약에 감사 기능, 롤백 옵션, 시스템 메시지 제어권을 포함한 체크리스트를 만들 수 있습니다. 또한 조직이 AI를 호스팅하고 모니터링하며 세부 조정할 수 있는 오픈소스 모델을 고려해야 합니다.

궁극적으로, 기업용 챗봇은 사용자가 말하는 모든 것에 동의하기보다는 아이디어에 도전하고 비즈니스를 보호하는 정직한 동료처럼 행동해야 합니다. AI가 계속 진화함에 따라, 직장에서의 안전하고 효과적인 사용을 보장하기 위해 이 균형을 유지하는 것이 중요할 것입니다.