Tealium: RAG 품질이 실시간 데이터에 좌우되는 이유

Tealium의 응용 AI 부문 수석 제품 관리자 프레디 베를란티(Freddy Berlanti)가 검색 강화 생성(RAG) 기술을 살펴봅니다. 이미지: 게티 이미지

티알리움(Tealium)의 응용 AI 부문 수석 제품 매니저인 프레디 베를란티가, 가치를 제공하는 RAG 시스템과 사용자 신뢰를 은연중에 훼손하는 시스템 사이의 결정적인 차이를 분석한다

대부분의 기업용 검색 강화 생성(RAG) 시스템은 고객에 대한 단편적인 정보만을 검색합니다. 지난 화요일에 색인된 벡터 저장소, 밤새 동기화된 지식 기반, 혹은 12시간 전의 사용자 상태를 반영한 프로필 등이 그 예입니다. 이러한 격차는 제대로 작동하는 RAG 시스템과 은밀히 신뢰를 훼손하는 시스템을 구분 짓습니다.

목요일 오후 8시 47분입니다. 한 고객이 장바구니에 상품을 하나 더 추가하여 총액이 무료 배송 기준액을 넘자, 고객 지원 채팅을 열어 배송비가 포함되어 있는지 묻습니다.

상담원은 몇 밀리초 만에 답변합니다. 답변은 유창하고 예의 바르며 근거도 확실하지만, 사실은 틀렸습니다. 검색된 프로필이 장바구니 내용이 변경되기 전에 생성된 것이기 때문입니다. 일괄 색인된 데이터가 최신 상태로 업데이트될 때쯤이면, 그 정보가 제공되어야 했던 순간은 이미 지나버린 뒤입니다.

이 대화에는 두 가지 서로 다른 수치가 작용하지만, 대부분의 운영 시스템은 그중 하나만 측정합니다. 응답 지연 시간은 질문과 답변 사이의 시간으로, 팀들은 이를 집요하게 측정합니다. 카울(Kaul), 예이츠(Yates), 그루테저(Gruteser)가 정식화한 지표인 ‘정보의 연령(Age of information)’은 시스템이 특정 사실에 따라 조치를 취할 때 그 사실이 얼마나 오래된 것인지 측정합니다. 간단히 말해, 정보를 사용했을 때 그 맥락이 얼마나 오래된 것이었는가?

이 예시에서 응답 지연 시간은 1초 미만이었지만, 정보는 몇 시간 전의 것이었습니다. 시스템은 빠르긴 했지만 최신 정보는 아니었습니다. 그리고 대시보드에는 그 두 수치 중 하나만 표시되었습니다.

이러한 구분은 중요합니다. 왜냐하면 오래된 고객 데이터를 기반으로 한 빠른 답변은 여전히 잘못된 답변이기 때문입니다. 고객을 대상으로 하는 RAG의 경우, 속도와 최신성은 서로 다른 문제이며, 한 가지를 최적화한다고 해서 다른 하나가 보장되는 것은 아닙니다.

이 두 가지는 독립적이며, 부하가 가해지면 서로 반대 방향으로 움직일 수 있습니다. 업데이트 빈도가 높다고 해서 항상 정보가 더 최신인 것은 아닙니다. 일정 수준을 넘어서면 업데이트가 대기열에 쌓이게 되어, 이용 가능한 최신 정보가 더 새로운 것이 아니라 오히려 더 오래된 것이 되어버립니다. 야간 일괄 처리는 단순히 극단적인 사례일 뿐입니다. 즉, 하루 전의 상황을 반영한 상태로 작동하는 시스템인 셈입니다. 해결책은 동일한 일정에 따라 더 많은 데이터를 이동시키는 것이 아닙니다. 중요한 변경 사항이 발생할 때 즉시 반영하는 것이며, 이를 위해서는 단순히 더 빠른 아키텍처가 아니라 완전히 다른 아키텍처가 필요합니다.

RAG는 ‘폐쇄형 문제’를 해결함으로써 그 입지를 다졌습니다. 시스템은 단순히 기억에만 의존해 답변하는 대신, 먼저 관련 자료를 조회한 다음, 찾아낸 내용을 바탕으로 답변합니다. 그 자료가 바로 코퍼스입니다. 코퍼스를 제대로 구축하면 모델은 더 이상 즉흥적으로 대응하지 않게 됩니다.

내부 지식 지원 시스템의 경우, 밤새 동기화되는 코퍼스면 충분합니다. 하지만 상담 중인 고객의 경우는 문제가 다릅니다. 장바구니 금액이 방금 기준선을 넘었기 때문에, 상담원은 지금 당장 무료 배송을 제안할지, 아니면 대기 상태로 둘지 결정해야 합니다. 새벽 전에 찍은 스냅샷은 나중에 조정해 해결할 수 있는 한계가 아닙니다. 이는 잘못된 아키텍처입니다. 일괄 색인된 데이터가 최신 상태를 따라잡을 때쯤이면, 그 데이터가 제공하려 했던 정보가 필요한 시점은 이미 지나버렸기 때문입니다.

배치 RAG는 기억을 불러오는 반면, 실시간 RAG는 고객을 불러옵니다.

이러한 실패는 사소하고, 그럴듯하며, 서서히 시스템을 갉아먹습니다. 경보나 버그 보고를 유발하는 경우는 드물며, 사용자들은 단순히 시스템을 신뢰하지 않게 되어 사용을 중단할 뿐입니다. 이 문제가 대시보드에 나타날 때쯤이면, 명백한 원인이 없는 도입 문제로 보입니다.

해결책은 어떤 도구 선택 결정보다 먼저 시작됩니다. 이는 사용 사례별로 작성된 서비스 수준 계약(SLA)으로, 다음 세 가지 질문에 답해야 합니다. ‘컨텍스트는 얼마나 최신 상태여야 하는가?’, ‘답변은 얼마나 빨리 도착해야 하는가?’, ‘시스템은 언제 중지하고 대화를 사람에게 넘겨야 하는가?’.

장바구니 상태는 초 단위로 최신 상태여야 합니다. 제품 콘텐츠는 분 단위를 허용할 수 있습니다. 정책은 일 단위로 갱신해도 무방합니다. 이러한 수치는 단순한 선호 사항이 아니라 설계 제약 조건이 됩니다. 즉, 아키텍처를 결정하고 비용을 결정합니다. 흔히 저지르는 실수는 최신성(freshness)을 모든 것에 균일하게 적용되는 단일 전역 설정으로 취급하는 것입니다. 신선도는 예산과 같습니다. 의사 결정에 영향을 미치는 곳에는 이를 투자하고, 그렇지 않은 곳에는 비용을 지출하지 마십시오.

고객을 직접 상대하는 상담원의 경우, 데이터 집합은 바로 고객 그 자체입니다.

즉, 신원 정보가 기기와 채널 전반에 걸쳐 일관되게 처리되므로 모든 접점이 한 사람으로 인식된다는 뜻입니다. 또한 동의가 프로필 자체에 연동되어 있으므로, 모든 후속 조회 작업은 누군가가 읽어주기를 바라는 정책 문서가 아닌 시스템 구조 자체에 의해 권한이 부여된다는 의미입니다.

또한 이는 야간 재구축을 포기해야 함을 의미합니다. 변경 데이터 캡처(Change Data Capture, CDC)는 모든 데이터를 다시 불러오는 대신 변경된 내용만 스트리밍하는 방식으로, 수백만 개의 프로필을 재처리하는 대신 단일 프로필을 몇 초 만에 재구축합니다. 따라서 검색은 하이브리드 방식으로 실행됩니다. 의미를 파악하기 위한 고밀도 벡터 검색과, SKU나 주문 번호와 같이 중요한 정확한 문자열을 찾기 위한 키워드 검색을 순위 기반으로 융합한 뒤, 최종 후보 목록에 대해 재순위 지정 단계를 거칩니다. 핫(Hot) 및 콜드(Cold) 계층을 통해 비용을 합리적으로 관리하므로, 실제로 의사 결정에 영향을 미치는 소수의 속성에 대해서는 2단계 최신성을, 그 외 모든 항목에 대해서는 일일 최신성을 구매하게 됩니다.

왼쪽에서 오른쪽으로 읽을 때 항상 최신 상태를 유지하는 스택 구조, 그 아래에는 측정 루프가 위치합니다

모든 에이전트를 모든 데이터 소스에 수동으로 연결하면, 각각 고유한 인증, 스키마 변경 및 오류 지점을 가진 통합의 그물이 형성됩니다. 이러한 복잡성 때문에 유망한 파일럿 프로젝트 중 상당수가 확장하는 데 어려움을 겪습니다.

에이전트를 도구 및 데이터에 연결하기 위한 개방형 표준인 MCP(Model Context Protocol)는 이러한 이음새를 하나의 포트로 바꿉니다. 데이터 소스를 한 번만 연결하면, 해당 표준을 준수하는 모든 에이전트가 스키마와 권한 정보가 포함된 상태로 이를 자동으로 탐지할 수 있습니다. 그 앞에는 게이트웨이가 위치하여, 들어오는 호출을 검증하고, 동의에 따라 정보를 가리고, 감사 추적을 기록합니다. 화려하지는 않지만, 바로 이 부분이 실제 운영 환경으로의 전환을 가능하게 합니다.

이 모든 것은 측정 없이는 유지될 수 없으며, 단 하나의 수치만으로는 충분하지 않습니다. 만족도 점수 하나가 무언가 잘못되었다는 것을 알려주지만, 세 개의 별도 대시보드가 정확히 무엇이 문제인지 알려줍니다.

검색 품질은 올바른 컨텍스트를 가져왔는지 여부를 묻습니다: 컨텍스트 정밀도, 컨텍스트 재현율, 최신성 지연. 이에 답하기 위해 모델은 필요하지 않습니다. 생성 품질은 모델이 제공받은 정보를 충실히 활용했는지 묻습니다: 답변 관련성과 인용 범위, 이는 인간 검토를 기준으로 보정된 심사위원에 의해 점수가 매겨집니다. 비즈니스 성과는 이 모든 것이 실제로 의미가 있었는지를 묻습니다: 해결 시간, 문제 억제율, 비용, 고객 만족도(CSAT). 이를 별도로 관리하면, 지표가 하락할 때 데이터, 모델, 워크플로우 중 어느 계층에 개선이 필요한지 정확히 파악할 수 있습니다.

세 가지 대시보드: 지표의 하락은 어떤 계층을 수정해야 하는지 알려줍니다

그런 다음, 범위를 좁게 설정하여 배포하십시오. 실제 트래픽을 대상으로 범위가 한정된 사용 사례 하나를 테스트하고, 작성한 SLA를 충족할 때까지 미세 조정한 후, 에스컬레이션 기능을 활성화한 상태로 서비스를 제공한 다음, 그 후에야 범위를 넓히십시오. 정체 패턴은 이와 정반대이며, 현재 업계에서 가장 흔한 프로젝트 형태입니다. 즉, 도구를 먼저 도입하고, 데이터는 나중에 처리하며, 지표는 아예 고려하지 않는 방식입니다.

모델은 모든 사람에게 같은 날 개선됩니다. 이번 분기에 선행 출시를 통해 얻은 어떤 우위라도, 경쟁사는 다음 분기에 정가로 이를 확보할 것입니다. 그러나 경쟁사가 확보할 수 없는 것은, 상담원이 응답하는 순간에 검색하는 컨텍스트의 ‘통화’, ‘거버넌스’, 그리고 ‘정체성’입니다.

모델은 뇌입니다. 컨텍스트는 기억입니다. 그중 오직 하나만이 여러분의 것입니다. 전체 전자책을 확인해 보세요.