Tealium: Por que a qualidade do RAG depende de dados em tempo real

Freddy Berlanti, gerente principal de produtos de IA aplicada da Tealium, explora a geração aumentada por recuperação (RAG). Imagem: Getty Images

Freddy Berlanti, gerente principal de produto de IA Aplicada da Tealium, detalha a diferença fundamental entre os sistemas RAG que agregam valor e aqueles que, silenciosamente, minam a confiança do usuário

A maioria dos sistemas corporativos de geração aumentada por recuperação (RAG) recupera apenas um instantâneo do cliente: um armazenamento vetorial indexado na última terça-feira, uma base de conhecimento sincronizada durante a madrugada ou um perfil que reflete quem o usuário era há 12 horas. Essa lacuna separa os sistemas RAG que funcionam daqueles que minam silenciosamente a confiança.

São 20h47 de uma quinta-feira. Um cliente adiciona mais um item ao carrinho, fazendo com que o total ultrapasse o limite para frete grátis, e então abre o chat de suporte e pergunta se o frete está incluído.

O agente responde em milissegundos. A resposta é fluente, educada, bem fundamentada — e errada —, porque o perfil recuperado foi montado antes que o carrinho fosse atualizado. Quando os dados indexados em lote finalmente são atualizados, o momento em que deveriam informar já passou.

Duas grandezas distintas regem essa troca, mas a maioria dos sistemas de produção mede apenas uma. A latência de resposta é o tempo entre a pergunta e a resposta, e as equipes a medem obsessivamente. A idade da informação, uma métrica formalizada por Kaul, Yates e Gruteser, mede há quanto tempo um fato já existe quando o sistema age com base nele. Em termos simples: quão desatualizado estava o contexto quando você o utilizou?

Nesse exemplo, a latência de resposta foi inferior a um segundo, mas a informação já tinha horas. O sistema foi rápido, mas não estava atualizado. E apenas um desses números apareceu no painel.

Essa distinção é importante porque uma resposta rápida baseada em dados desatualizados do cliente ainda é a resposta errada. Para o RAG voltado ao cliente, velocidade e atualidade são dois problemas diferentes, e otimizar um não garante o outro.

Os dois são independentes e, sob carga, podem seguir em direções opostas. Atualizações mais frequentes nem sempre significam informações mais recentes. Além de um certo ponto, as atualizações ficam na fila, tornando o fato mais recente disponível mais antigo, e não mais novo. O processamento em lote noturno é simplesmente o caso extremo: um sistema operando com uma visão do mundo com um dia de atraso. A solução não é transferir mais dados no mesmo cronograma. É transferir as mudanças que importam à medida que ocorrem, o que requer uma arquitetura diferente, não apenas uma mais rápida.

O RAG conquistou seu espaço ao resolver o problema do “livro fechado”. Em vez de responder apenas com base na memória, o sistema consulta primeiro o material relevante e, então, responde com base no que encontrou. Esse material é o corpus. Acertando no corpus, o modelo deixa de improvisar.

Para um assistente de conhecimento interno, um corpus que é sincronizado durante a noite é suficiente. Um cliente no meio de uma sessão é um problema diferente. O carrinho acabou de ultrapassar um limite, e um atendente precisa decidir agora mesmo se oferece frete grátis ou se mantém o cliente na linha. Um instantâneo capturado antes do amanhecer não é uma limitação a ser corrigida posteriormente; é a arquitetura errada, pois, quando os dados indexados em lote forem atualizados, a oportunidade para a qual se destinavam já terá passado.

O RAG em lote recupera uma memória; o RAG em tempo real recupera o cliente

As falhas são pequenas, plausíveis e corrosivas. Elas raramente acionam alertas ou relatórios de bug; os usuários simplesmente aprendem a não confiar no sistema e param de usá-lo. Quando isso aparece no painel, parece um problema de adoção sem causa óbvia.

A solução começa antes de qualquer decisão sobre ferramentas. Trata-se de um acordo de nível de serviço, elaborado para cada caso de uso, que responde a três perguntas: Quão atualizado deve estar o contexto? Com que rapidez a resposta deve chegar? Quando o sistema deve parar e passar a conversa para um ser humano?

O estado do carrinho exige atualização em segundos. O conteúdo do produto tolera atualizações em minutos. As políticas podem ser atualizadas diariamente. Esses números deixam de ser uma preferência e se tornam uma restrição de projeto: eles determinam a arquitetura e definem o custo. O erro comum é tratar a atualização como uma única configuração global aplicada uniformemente a tudo. A atualização é um orçamento. Gaste-o onde ela influencia uma decisão e pare de pagar por ela onde isso não acontece.

Para agentes que lidam diretamente com o cliente, o corpus é o próprio cliente.

Isso significa que a identidade é resolvida entre dispositivos e canais, de modo que todos os pontos de contato sejam entendidos como pertencentes a uma única pessoa. Significa que o consentimento está vinculado ao próprio perfil, de modo que toda consulta posterior seja autorizada por padrão, em vez de depender de um documento de política que alguém espera que tenha sido lido.

Isso também significa abrir mão da reconstrução noturna. A captura de dados alterados — a prática de transmitir apenas o que mudou, em vez de recarregar tudo — reincorpora um único perfil em segundos, em vez de reprocessar milhões deles. A recuperação, então, funciona de forma híbrida: busca vetorial densa por significado, busca por palavra-chave para as sequências exatas que importam, como SKUs e números de pedidos, as duas fundidas por classificação, com uma passagem de reclassificação sobre os finalistas. Os níveis “quente” e “frio” mantêm os custos sob controle, de modo que você adquire atualização de segundo nível para os poucos atributos que realmente influenciam uma decisão e atualização diária para todo o restante.

A pilha sempre atualizada, lida da esquerda para a direita, com o ciclo de medição por baixo

Conectar manualmente cada agente a cada fonte de dados cria uma rede de integrações, cada uma com sua própria autenticação, alterações de esquema e pontos de falha. Essa complexidade é o motivo pelo qual tantos projetos-piloto promissores enfrentam dificuldades para escalar.

O Model Context Protocol (MCP), um padrão aberto para conectar agentes a ferramentas e dados, transforma essa junção em uma porta. Conecte uma fonte uma única vez e qualquer agente compatível poderá descobri-la, com esquemas e permissões anexados. Um gateway fica à frente dela: validando chamadas recebidas, ocultando informações mediante consentimento e registrando a trilha de auditoria. A parte menos glamorosa é o que leva você à produção.

Nada disso sobrevive sem medição, e um único número não é suficiente. Um índice de satisfação indica que algo está errado. Três painéis distintos mostram o que exatamente.

A qualidade da recuperação questiona se você realmente obteve o contexto correto: precisão do contexto, recuperação do contexto, atraso de desatualização. Não é necessário nenhum modelo para responder a isso. A qualidade da geração questiona se o modelo utilizou fielmente o que lhe foi fornecido: relevância da resposta e cobertura de citações, avaliadas por um avaliador calibrado com base na revisão humana. Os resultados de negócios perguntam se alguma dessas coisas importou: tempo de resolução, contenção, custo, CSAT. Quando mantidas separadas, uma métrica em queda aponta diretamente para a camada que precisa de ajustes, seja ela os dados, o modelo ou o fluxo de trabalho.

Três painéis: uma queda indica qual camada deve ser corrigida

Em seguida, lance em escala restrita. Teste um caso de uso delimitado com tráfego real, ajuste-o até que cumpra o SLA que você definiu, implemente-o com a escalação ativada e só então amplie a escala. O padrão de estagnação é exatamente o oposto e é a forma mais comum de projeto no setor atualmente: ferramenta primeiro, dados depois, métricas nunca.

Os modelos melhoram para todos no mesmo dia. Qualquer vantagem que um lançamento pioneiro lhe traga neste trimestre, seu concorrente obterá no próximo trimestre pelo preço de tabela. O que eles não podem comprar é a moeda, a governança e a identidade do contexto que seus agentes recuperam no momento em que respondem.

O modelo é o cérebro. O contexto é a memória. Apenas um deles é seu. Confira o e-book completo.