인공지능이 인간 고객 서비스 담당자로의 경로를 간소화합니다

새로운 연구에 따르면 오픈소스 기반의 ChatGPT 스타일 인공지능 시스템이 자연어 처리 기술을 활용해 콜센터에서 발신자를 적절한 담당자와 연결할 수 있는 잠재력을 지닌 것으로 나타났다. 이로써 의도적으로 방해하는 듯한 느낌을 주는 복잡하고 자주 변경되는 메뉴 시스템을 거칠 필요가 없어진다.

실제 상담원 연결은 좌절스러운 과정일 수 있습니다. 통화자는 자신의 특정 문제에 맞는 선택지가 무엇인지 종종 확신하지 못한 채 다중 선택 옵션을 하나씩 확인해야 하기 때문입니다. 적합한 옵션이 없을 경우, 노련한 사용자들은 종종 인간 상담원에게 연결되고 '옵션 지옥'에서 벗어나기 위한 요령과 우회 방법을 개발합니다. 많은 이들에게 이 경험은 적대적이고 사용자 친화적이지 않게 느껴집니다.

콜센터가 AI 보강 또는 대체의 주요 대상이 된 것은 놀라운 일이 아닙니다. 일부 전문가들이 신중을 촉구함에도 불구하고, 콜센터 자동화는 기술 헤드라인을 장식하기 쉬운 쉬운 과제가 되며, 비정상적으로 빠른 투자 수익을 제공할 수 있는 AI 주도 혁신의 유망한 분야로 남아 있습니다.

폐쇄된 시장

그러나 이 분야에서는 오픈소스 원칙과 공개 데이터가 거의 적용되지 않는데, 그럴 만한 이유가 있습니다. 고객 대응 시스템을 자동화하는 기업들은 경쟁 우위를 뒷받침하는 데이터, 방법론 또는 기업 지적 재산을 공유할 유인이 거의 없습니다.

이러한 자원을 공유하면 시장 우위가 약화될 수 있다. 더 중요한 것은 AI 시스템이 민감한 정보를 유출할 가능성이 있어 상당한 법적 위험을 수반한다는 점이다.

이로 인해 여러 자금력 있는 기업들이 AI 기반 콜센터 시스템을 독자적으로 개발하게 되었으며, 일부 노력은 불가피하게 중복되었습니다. 또한 AI 기반 고객 서비스 역량에 대한 수요 증가를 충족시키려는 B2B 스타트업과 기존 업체들의 급증도 촉발했습니다.

가상의 '오거스타 잔디 관리'를 위한 고객 서비스 통화를 시작하는 PolyAI 음성 어시스턴트는 기존 콜센터 인프라 내에서 응답을 자동화하기 위해 방대한 훈련 대화를 활용합니다. 출처

또한 복잡한 콜센터 메뉴로 인한 불편함을 해소하려는 노력도 연구를 촉진했습니다. 그러나 대부분의 연구 결과는 Arxiv나 기타 공개 플랫폼에 게재되지 않는데, 이는 대화형 음성 응답(IVR) 개발이 일반적으로 독점적 성격을 띠기 때문입니다.

결과적으로 고객 서비스 AI 자동화와 관련된 연구, 데이터, 비즈니스 인텔리전스는 엄격히 보호됩니다. 법적으로 안전한 데이터를 사용하는 것이 가능하다고 해도(의문스럽지만) 오픈소스 대안은 극히 드뭅니다.

로컬 콜

이러한 배경 속에서 콜롬비아에서 나온 새로운 논문은 IVR 개발을 기업 금고에서 조금이라도 끌어내려는 환영할 만한 시도입니다. 'IVR 터치톤을 넘어서: 대규모 언어 모델(LLM)을 활용한 고객 의도 라우팅'이라는 제목의 이 간결한 연구는 보고타 소재 프란시스코 호세 데 칼다스 디스트리탈 대학교(Universidad Distrital Francisco José de Caldas) 연구원이 수행했습니다. 이 연구는 대규모 언어 모델(LLM)을 활용해 고객 의도 라우팅(CIR) 시스템의 기능적 스키마를 구축한 최초의 비독점적 프로젝트라고 주장합니다.

실제 통화 데이터나 독점 메뉴 구조를 사용하기보다는, 이 프로젝트는 세 가지 AI 모델을 활용해 모든 구성 요소를 처음부터 생성한다: 하나는 현실적인 콜센터 메뉴를 설계하고, 다른 하나는 수백 건의 발신자 불만을 시뮬레이션하며, 세 번째는 챗봇 역할을 수행해 이러한 질의를 올바른 목적지로 라우팅한다.

그 결과 가상의 통신사와 920개의 서로 다른 사용자 문의로 구성된 완전히 합성되었지만 설득력 있는 테스트 환경이 구축되었습니다. 이 설정은 현재 AI가 모호하고 구조화되지 않은 음성을 얼마나 잘 해석하고 발신자를 적절히 안내하는지 탐구할 수 있게 해주며, 동시에 법적 위험을 피할 수 있습니다.

테스트 결과, 특히 상세한 설명 대신 '평탄화된' 메뉴 옵션을 제공할 때 시스템이 자유형 불만 사항을 최대 89.13% 정확도로 올바른 처리처에 매핑할 수 있음이 확인되었습니다.

또한 연구 결과, 발신자가 비공식적이거나 다양한 언어를 사용할 때 AI 오류가 더 많이 발생하는 것으로 나타났습니다. 다만 일부 오류는 AI의 오해가 아닌 전화 메뉴 자체가 혼란스러웠기 때문이었습니다.

새로운 프로젝트의 일환으로 공유된 고객 상호작용 사례. 출처

이 프로젝트의 데이터는 공개적으로 이용 가능하게 되었습니다.

방법

3단계 접근법은 가상의 통신사를 위한 상세한 전화 메뉴를 생성하는 모델로 시작되었습니다. 두 번째 모델은 현실적인 발화 패턴을 시뮬레이션하기 위해 일부는 직설적이고, 일부는 재구성되거나 더 비공식적인 독특한 발신자 메시지를 생성했습니다. 총 920개의 예시가 생성되었습니다.

세 번째 모델은 메시지와 메뉴 버전만을 기반으로 각 발신자를 올바른 부서로 연결하는 임무를 맡았습니다. 이 프레임워크는 실제 통화 데이터나 고객 정보 노출 없이도 실험을 완전히 재현 가능하게 했습니다.

삼분법적 접근법에 선정된 세 시스템. 출처

사용된 모델은 각각 gpt-3.5-turbo, gpt-4o-mini, gpt-4.1-mini입니다.

진정한 고객 서비스 환경을 시뮬레이션하기 위해 복잡한 전화 메뉴를 처음부터 합성해야 했습니다. 관련 데이터셋이 부족하여 gpt-3.5-turbo 모델에 가상의 통신사용 완전한 다중 분기 구조를 생성하도록 프롬프트했습니다.

각 분기는 청구, 기술 지원, 계정 관리, 신규 서비스와 같은 서비스 영역을 나타내며, 현실적인 하위 옵션과 다양한 깊이를 갖추고 있습니다. 테스트를 위해 두 가지 메뉴 버전이 생성되었습니다: 사람이 읽을 수 있는 형식을 모방한 일반 텍스트 계층 구조와 해당 버튼 시퀀스가 있는 엔드포인트 목록입니다.

이를 통해 라우팅 문제의 상세 버전과 단순화된 버전 모두에 대한 테스트가 가능해졌습니다:

AI에 두 가지 버전의 전화 메뉴가 제공되었습니다: 상세한 텍스트 계층 구조와 간소화된 직접 메뉴 옵션 목록으로, 각 형식이 발신자를 올바른 곳으로 안내하는 데 얼마나 효과적인지 비교하기 위함이었습니다.

테스트 발신자 메시지를 생성하기 위해, 두 번째 언어 모델이 각 메뉴 종착점당 10개의 고유한 예시를 포함한 원본 불만 또는 요청 세트를 생성했습니다.

그런 다음 각 메시지는 실제 사람들이 문제를 표현하는 다양한 방식을 반영하기 위해 길이와 어조, 사소한 오류나 불필요한 단어까지 포함하여 여러 가지 변형으로 재구성되었습니다.

920개의 초기 메시지는 시스템의 정확성을 테스트하고 자연스러운 대화의 예측 불가능성을 시뮬레이션하기 위해 제작되었습니다.

세 번째 단계에서는 두 가지 다른 IVR 표시 형식을 사용하여 각 메시지를 올바른 메뉴 목적지로 매핑하는 최종 모델의 능력을 테스트했습니다.

첫 번째 버전에서는 AI가 전화 트리의 전체 설명 개요를 받았습니다. 두 번째 버전에서는 최종 목적지와 해당 버튼 순서 목록만 제공되었습니다.

목표는 단순화된 메뉴가 모델의 통화 라우팅 효율성을 높일 수 있는지 확인하는 것이었습니다. 두 경우 모두 시스템은 한 번에 하나의 메시지만 처리했으며, 자동화된 점수 산정을 위해 추가 텍스트 없이 경로만 반환하도록 지시받았습니다.

격리

테스트 결과 오염을 방지하기 위해 각 모델은 격리 상태로 유지되었습니다. 첫 번째 모델이 전화 메뉴 초안을 작성했지만, 다른 시스템에 노출되지 않도록 수동으로 최종 확정되었습니다.

발신자 메시지는 gpt-4o-mini가 메뉴 구조에 대한 접근 없이 엔드포인트 이름만 사용하여 별도로 생성했습니다. 마지막으로, 라우팅을 수행한 gpt-4.1-mini는 메뉴 텍스트와 수신 메시지에만 접근할 수 있었으며, 이를 생성하는 역할은 없었습니다.

지표

라우팅 시스템 성능은 두 가지 표준 지표로 평가되었습니다: 정확도(모델이 정확한 경로(예: 1-2-3)를 제공한 사례의 비율)와 오류 위치를 특정하기 위한 혼동 행렬 생성*. 평가는 pandas 및 scikit-learn 라이브러리를 사용한 Python으로 수행되었습니다.

결과

테스트 결과 모델의 정확도는 메뉴 표시 방식에 크게 좌우되는 것으로 나타났다. 단순화된 메뉴 경로 목록을 사용했을 때 시스템은 단순한 데이터셋에서 89.13%의 정확도를 달성한 반면, 완전한 설명형 메뉴에서는 81.30%의 정확도를 보였다.

세 번째 모델(LLM3)의 경로 정확도는 다양한 프롬프트 형식과 데이터셋 유형에서 일관되게 평탄화된 메뉴 경로가 계층적 설명보다 우수한 성능을 보였으며, 의역된 표현이나 비공식적 언어 입력 시 정확도가 소폭 하락하는 경향을 나타냈다.

이 추세는 더 크고 언어적으로 다양한 데이터셋에서도 지속되었으며, 평탄화된 버전이 다시 한 번 더 나은 성능을 보였습니다(설명 형식 대비 86.52% 대 77.07%).

이 논문은 이러한 결과가 긴 계층적 설명보다 단순한 목록 기반 프롬프트가 모델이 쿼리를 더 안정적으로 매칭하는 데 도움이 된다는 것을 시사한다고 지적합니다.

또한 의역된 비공식 발신자 메시지가 도입되면 정확도가 약간 하락했는데, 이는 다양성 증대가 현실감을 높이는 동시에 분류를 더 어렵게 만들었음을 시사한다.

본 논문은 다음과 같이 결론지었습니다:

'우리의 결과는 LLM이 평탄화된 IVR 경로(최대 89.13%)를 제공받을 때 장황한 메뉴 설명(최저 77.07%)에 비해 고객 의도를 더 정확하게 라우팅함을 보여줍니다. 이는 간결하고 구조화된 프롬프트가 노이즈를 줄이고 라우팅 작업에 더 적합함을 시사합니다.

이는 명확성과 간결성이 분류 시나리오에서 LLM 성능을 향상시킨다는 관점을 뒷받침합니다.

‘또한 메뉴를 평탄화된 경로로 변환하는 것은 실제 적용을 위한 간단하고 자동화 가능한 과정입니다.’

결론

비밀과 배타성으로 특징지어지는 분야에서 공개 연구가 등장하는 것은 고무적인 일입니다. 핵심 질문은 남아 있습니다: 향후 시스템은 LLM에 맥락을 부여하기 위한 '프레임워크' 아키텍처가 필요할까요, 아니면 모델이 단순히 현지에서 이용 가능한 비즈니스 인텔리전스에 접근할 수 있게 되어 기업이 제3자와 데이터를 공유할 필요가 없어질까요?

궁극적으로 여기서 탐구한 핵심 설계 원칙들은 고객 서비스 용도를 위한 특별한 적응 없이도, 향후 AI 시스템에 자연스럽게 채택될 가능성이 높아 보인다.

* 자세한 내용은 원본 논문을 참조하십시오.

최초 게시일: 2025년 10월 29일 수요일