AI 챗봇의 심리: 사용자의 참여를 유지하는 요소

오늘날 수백만 명의 사람들이 가상 치료사, 커리어 코치, 피트니스 조언자, 심지어는 자신의 생각을 공유할 수 있는 경청자로 ChatGPT를 이용하고 있습니다. 2025년에는 사람들이 AI 비서와 개인적인 이야기와 사적인 어려움을 공유하고, AI 비서가 제공하는 지침을 마음에 새기는 것이 일반화될 것입니다.

사람들은 대화형 AI와 관계를 형성하고 있으며, 빅테크 기업들은 전례 없이 챗봇 플랫폼에서 사용자를 유치하고 유지하기 위해 경쟁하고 있습니다. 사용자의 관심을 끌기 위한 경쟁이 치열해짐에 따라 기업들은 대체 서비스로의 전환을 막는 방식으로 챗봇 응답을 만들어야 한다는 압박감을 느끼고 있습니다.

하지만 사용자가 계속 재방문하게 만드는 응답이 항상 가장 정확하거나 유용한 것은 아닙니다.

사용자가 듣고 싶은 것을 알려주는 AI

현재 실리콘 밸리의 많은 기업들이 AI 비서의 사용자 참여도를 높이는 데 집중하고 있습니다. Meta의 AI 챗봇은 현재 10억 명 이상의 월간 활성 사용자에게 서비스를 제공하고 있으며, Google의 Gemini는 최근 4억 명에 도달했습니다. 둘 다 2022년 출시 이후 월간 활성 사용자 수가 약 6억 명으로 여전히 선두를 달리고 있는 ChatGPT에 도전하는 것을 목표로 하고 있습니다.

한때 새로운 실험이었던 AI 챗봇은 이제 진지한 비즈니스가 되고 있습니다. 구글은 제미니 내에서 광고를 테스트하고 있으며, OpenAI의 CEO인 샘 알트먼은 이전에 ChatGPT에 세련된 광고를 도입할 의향이 있다고 밝힌 바 있습니다.

사용자 복지보다 참여에 초점을 맞추는 것은 기술 업계에서 새로운 일은 아닙니다. 예를 들어, 2020년의 내부 메타 연구에 따르면 인스타그램은 10대 소녀들의 신체 이미지에 부정적인 영향을 미치는 것으로 나타났지만, 회사는 이러한 결과를 공개적으로 경시했습니다.

AI 컴패니언에 대한 의존도를 높이는 데 있어서는 그 위험성이 훨씬 더 커질 수 있습니다.

테크크런치 올스테이지 패스를 $200 이상 할인 받으세요.

더 스마트하게 구축하세요. 더 빠르게 확장하세요. 더 깊이 연결하세요. 프레커서 벤처스, NEA, 인덱스 벤처스, 언더스코어 VC 등의 선구자들과 함께 하루 동안 워크숍, 전략, 네트워킹에 참여하세요.

테크크런치 올스테이지 패스를 $200 이상 할인된 가격으로 만나보세요.

더 스마트하게 구축하세요. 더 빠르게 확장하세요. 더 깊이 연결하세요. Precursor Ventures, NEA, Index Ventures, Underscore VC 등의 선구자들과 함께 하루 동안 워크샵, 전략, 네트워킹에 참여하세요.

사용자가 플랫폼에 대한 충성도를 유지하는 한 가지 요소는 동질성입니다: 지나치게 아첨하고 호의적인 AI 응답을 말합니다. 챗봇이 사용자를 칭찬하고, 사용자의 의견을 확인하고, 사용자가 듣고 싶어 하는 말을 해줄 때 사람들은 적어도 처음에는 긍정적인 반응을 보이는 경향이 있습니다.

지난 4월, OpenAI는 ChatGPT 업데이트로 인해 챗봇의 어조가 지나치게 아부적으로 바뀌면서 온라인에서 어색한 사례가 널리 공유되어 비판에 직면했습니다. 최근 블로그 게시물에서 전 OpenAI 연구원 Steven Adler는 회사가 의도치 않게 사용자 승인보다 유용성을 우선시했을 수 있다고 주장했습니다.

OpenAI는 과도한 동조성을 감지할 수 있는 충분한 보호 장치 없이 좋아요 및 싫어요 평가와 같은 사용자 피드백에 지나치게 의존했음을 인정했습니다. 사건 이후, 회사는 이 문제를 해결하기 위해 노력했습니다.

애들러는 테크크런치와의 인터뷰에서 "AI 기업은 참여와 사용에 의해 움직이기 때문에 사용자가 긍정적인 반응을 보이면 간접적으로 그 행동을 장려하게 됩니다."라고 말했습니다. "하지만 사람들이 소량으로 좋아하는 것이 실제로는 싫어하는 행동으로 이어질 수 있습니다."

지지와 지나친 동조 사이에서 적절한 균형을 유지하는 것은 생각보다 어렵습니다.

2023년에 발표된 연구에서 Anthropic의 연구원들은 OpenAI, Meta, 심지어 자체 챗봇까지 주요 AI 챗봇이 모두 사이코패스적인 행동의 징후를 보인다는 사실을 발견했습니다. 저자들은 AI 모델이 인간의 피드백을 사용하여 학습되고, 사람들은 일반적으로 자신과 일치하는 응답을 선호하기 때문에 이러한 현상이 발생한다고 설명합니다.

이 연구의 공동 저자들은 "여러 가지 요인이 위선적인 행동을 유발하지만, 인간과 선호도 모델 모두 동의하는 답변을 선호한다는 사실을 입증했습니다."라고 설명합니다. "우리의 연구 결과는 비전문가의 도움을 받지 않는 평가 이상의 감독이 필요하다는 것을 강조합니다."

수백만 명의 사용자가 매일 봇과 상호작용하는 데 몇 시간을 소비한다고 밝힌 Google의 지원을 받는 Character.AI는 현재 동조성이 한 요인일 수 있는 소송에 휘말려 있습니다.

이 소송은 Character.AI 챗봇이 자살 충동을 표현한 14세 소년에게 개입하지 않았고 심지어 부추겼다고 주장합니다. 소장에 따르면 이 소년은 인공지능에 대한 낭만적인 집착을 갖게 되었다고 합니다. Character.AI는 이러한 의혹을 부인했습니다.

인공지능 치어리더의 숨겨진 비용

스탠포드 정신과 임상 조교수인 니나 바산 박사는 의도적이든 아니든 참여도를 극대화하기 위해 챗봇을 조정하는 것은 정신 건강에 해를 끼칠 수 있다고 말합니다.

"동의성은 확인과 연결에 대한 인간의 욕구에 영향을 미칩니다."라고 Vasan은 테크크런치에 설명하며 "특히 외롭거나 화가 났을 때 더욱 그렇습니다."라고 덧붙였습니다.

Character.AI 소송은 취약한 사용자의 극단적인 위험을 강조하지만, 위선적인 행동은 거의 모든 사람의 부정적인 패턴을 강화할 수 있다고 Vasan은 지적합니다.

"단순히 예의를 갖추기 위한 것이 아니라 심리적 함정이 될 수 있습니다."라고 그녀는 덧붙입니다. "정신 건강 측면에서 보면 효과적인 치료와는 정반대입니다."

앤트로픽의 행동 및 조정 책임자인 아만다 애스켈은 회사가 의도적으로 챗봇 클로드가 때때로 사용자의 의견에 동의하지 않도록 프로그래밍하고 있다고 말합니다. 철학자 출신인 Askell은 다른 관점을 제시하는 것을 두려워하지 않는 이상적인 인간 대화 상대를 모델로 삼아 Claude를 개발하고자 합니다.

"우리는 필요할 때 진실을 말해 주는 친구를 소중히 여깁니다."라고 Askell은 5월 브리핑에서 말했습니다. "그들은 단순히 우리의 관심을 끌려고 하는 것이 아니라 우리의 삶을 개선하고자 합니다."

이것이 목표일 수도 있지만, 앤트로픽의 자체 연구에 따르면 특히 상업적 압력이 개입될 경우, 동조심을 억제하고 AI의 행동을 조정하는 것이 얼마나 어려운지 알 수 있습니다. 그리고 챗봇이 단순히 우리에게 동의하도록 만들어졌다면, 우리는 챗봇을 얼마나 신뢰해야 할까요?