Lar
A OpenRouter lança tecnologia para reduzir drasticamente os custos das conversas com múltiplas trocas de mensagens baseadas em IA
À medida que a tecnologia de conversação com IA evolui, o OpenRouter lançou dois novos recursos — Prompt Caching e Sticky Routing — projetados para reduzir os custos com tokens em conversas com agentes que envolvem várias rodadas. Essa inovação permite que os desenvolvedores reduzam as despesas durante interações prolongadas com agentes, incentivando uma adoção mais ampla de aplicativos de atendimento.
Em conversas com várias trocas de mensagens, os agentes frequentemente reenviam os mesmos prompts do sistema, definições de ferramentas e instruções de estratégia. Mesmo que o usuário altere apenas uma entrada ao longo de seis rodadas, cada prompt repetido gera custos. O Prompt Caching permite que o OpenRouter recupere dados armazenados em cache, evitando o custo de reenviar prompts idênticos. Dependendo do provedor, as leituras em cache custam de 0,1 a 0,5 vezes o preço padrão da entrada, reduzindo significativamente as despesas. Por exemplo, no Claude Sonnet 4.6, as leituras em cache custam apenas US$ 0,30 por milhão de tokens, em comparação com US$ 3,00 para entradas normais.

Para manter a eficácia do cache ao longo de várias rodadas, o Sticky Routing do OpenRouter envia as solicitações subsequentes ao mesmo provedor que mantém o cache ativo, permitindo que os desenvolvedores desfrutem consistentemente de leituras em cache de baixo custo durante toda a conversa.
No entanto, para aproveitar ao máximo essa inovação, os desenvolvedores devem manter a mesma sessão durante todo o processo. Para um armazenamento em cache ideal, o OpenRouter recomenda definir um session_id, que ativa o Sticky Routing imediatamente após a primeira solicitação bem-sucedida — e não apenas após um acerto no cache. Os desenvolvedores também podem verificar o uso do cache analisando os dados da resposta.
À medida que a tecnologia de IA avança, o recurso mais recente do OpenRouter não apenas oferece aos desenvolvedores uma poderosa ferramenta de controle de custos, mas também abre novas possibilidades para aplicativos de atendimento.
Artigo relacionado
Stripe vai adquirir a OpenRouter à medida que o roteamento baseado em modelos de IA ganha força
A Stripe concordou em adquirir a OpenRouter, uma plataforma de roteamento de modelos de IA que oferece aos desenvolvedores acesso a centenas de modelos por meio de uma única interface. O acordo amplia
O ex-pesquisador da OpenAI, Barrett Zoph, retorna ao Google para apoiar o desenvolvimento do Gemini
Barret Zoph, que anteriormente havia deixado a empresa de forma repentina e se juntado à OpenAI devido a um desentendimento com a CEO da Thinking Machines Lab, Miriam Mularati, mudou de emprego mais u
Como a Recursive Intelligence levantou US$ 335 milhões com uma avaliação de US$ 4 bilhões em 4 meses
As cofundadoras da startup Ricursive Intelligence pareciam destinadas a serem cofundadoras.Anna Goldie, CEO, e Azalia Mirhoseini, CTO, são tão conhecidas na comunidade de IA que estavam entre os engen
Recomendações de tópicos especiais relacionados
Comentários (0)
À medida que a tecnologia de conversação com IA evolui, o OpenRouter lançou dois novos recursos — Prompt Caching e Sticky Routing — projetados para reduzir os custos com tokens em conversas com agentes que envolvem várias rodadas. Essa inovação permite que os desenvolvedores reduzam as despesas durante interações prolongadas com agentes, incentivando uma adoção mais ampla de aplicativos de atendimento.
Em conversas com várias trocas de mensagens, os agentes frequentemente reenviam os mesmos prompts do sistema, definições de ferramentas e instruções de estratégia. Mesmo que o usuário altere apenas uma entrada ao longo de seis rodadas, cada prompt repetido gera custos. O Prompt Caching permite que o OpenRouter recupere dados armazenados em cache, evitando o custo de reenviar prompts idênticos. Dependendo do provedor, as leituras em cache custam de 0,1 a 0,5 vezes o preço padrão da entrada, reduzindo significativamente as despesas. Por exemplo, no Claude Sonnet 4.6, as leituras em cache custam apenas US$ 0,30 por milhão de tokens, em comparação com US$ 3,00 para entradas normais.

Para manter a eficácia do cache ao longo de várias rodadas, o Sticky Routing do OpenRouter envia as solicitações subsequentes ao mesmo provedor que mantém o cache ativo, permitindo que os desenvolvedores desfrutem consistentemente de leituras em cache de baixo custo durante toda a conversa.
No entanto, para aproveitar ao máximo essa inovação, os desenvolvedores devem manter a mesma sessão durante todo o processo. Para um armazenamento em cache ideal, o OpenRouter recomenda definir um session_id, que ativa o Sticky Routing imediatamente após a primeira solicitação bem-sucedida — e não apenas após um acerto no cache. Os desenvolvedores também podem verificar o uso do cache analisando os dados da resposta.
À medida que a tecnologia de IA avança, o recurso mais recente do OpenRouter não apenas oferece aos desenvolvedores uma poderosa ferramenta de controle de custos, mas também abre novas possibilidades para aplicativos de atendimento.
Stripe vai adquirir a OpenRouter à medida que o roteamento baseado em modelos de IA ganha força
A Stripe concordou em adquirir a OpenRouter, uma plataforma de roteamento de modelos de IA que oferece aos desenvolvedores acesso a centenas de modelos por meio de uma única interface. O acordo amplia
O ex-pesquisador da OpenAI, Barrett Zoph, retorna ao Google para apoiar o desenvolvimento do Gemini
Barret Zoph, que anteriormente havia deixado a empresa de forma repentina e se juntado à OpenAI devido a um desentendimento com a CEO da Thinking Machines Lab, Miriam Mularati, mudou de emprego mais u
Como a Recursive Intelligence levantou US$ 335 milhões com uma avaliação de US$ 4 bilhões em 4 meses
As cofundadoras da startup Ricursive Intelligence pareciam destinadas a serem cofundadoras.Anna Goldie, CEO, e Azalia Mirhoseini, CTO, são tão conhecidas na comunidade de IA que estavam entre os engen











