Maison
OpenRouter lance une technologie visant à réduire considérablement les coûts liés aux conversations en plusieurs étapes basées sur l'IA
À mesure que la technologie de conversation basée sur l’IA évolue, OpenRouter a lancé deux nouvelles fonctionnalités — « Prompt Caching » et « Sticky Routing » — conçues pour réduire les coûts liés aux jetons lors des conversations à plusieurs échanges avec les agents. Cette innovation permet aux développeurs de réduire les dépenses lors d’interactions prolongées avec les agents, ce qui favorise une adoption plus large des applications d’agents.
Dans les conversations à plusieurs échanges, les agents renvoient fréquemment les mêmes invites système, définitions d’outils et instructions stratégiques. Même si l’utilisateur ne modifie qu’une seule entrée sur six échanges, chaque invite répétée entraîne des frais. La mise en cache des invites permet à OpenRouter de récupérer des données mises en cache, évitant ainsi le coût lié à la réémission d’invites identiques. Selon le fournisseur, les lectures en cache coûtent entre 0,1 et 0,5 fois le prix standard des entrées, ce qui réduit considérablement les dépenses. Par exemple, sur Claude Sonnet 4.6, les lectures en cache ne coûtent que 0,30 $ par million de tokens, contre 3,00 $ pour une entrée normale.

Pour maintenir l’efficacité de la mise en cache sur plusieurs tours de conversation, la fonctionnalité « Sticky Routing » d’OpenRouter envoie les requêtes suivantes au même fournisseur qui détient le cache « chaud », ce qui permet aux développeurs de bénéficier en permanence de lectures en cache à faible coût tout au long de la conversation.
Toutefois, pour tirer pleinement parti de cette innovation, les développeurs doivent conserver la même session tout au long de la conversation. Pour une mise en cache optimale, OpenRouter recommande de définir un session_id, qui active le « Sticky Routing » immédiatement après la première requête réussie — et pas seulement après un accès au cache. Les développeurs peuvent également vérifier l’utilisation du cache en consultant les données de réponse.
À mesure que la technologie d’IA progresse, la dernière fonctionnalité d’OpenRouter offre non seulement aux développeurs un puissant outil de maîtrise des coûts, mais ouvre également de nouvelles possibilités pour les applications d’agents.
Article connexe
Stripe va acquérir OpenRouter alors que le routage basé sur des modèles d'IA prend de l'ampleur
Stripe a conclu un accord en vue d’acquérir OpenRouter, une plateforme de routage de modèles d’IA qui permet aux développeurs d’accéder à des centaines de modèles via une interface unique. Cette acqui
Barrett Zoph, ancien chercheur chez OpenAI, revient chez Google pour contribuer au développement de Gemini
Barret Zoph, qui avait auparavant quitté brusquement l’entreprise pour rejoindre OpenAI en raison d’un désaccord avec Miriam Mularati, PDG de Thinking Machines Lab, a une nouvelle fois changé d’employ
Comment Recursive Intelligence a levé 335 millions de dollars en 4 mois, avec une valorisation de 4 milliards de dollars
Les cofondatrices de la start-up Ricursive Intelligence semblaient destinées à devenir cofondatrices.Anna Goldie, PDG, et Azalia Mirhoseini, directrice technique, sont si connues dans le milieu de l’I
Recommandations de sujets spéciaux liés
commentaires (0)
À mesure que la technologie de conversation basée sur l’IA évolue, OpenRouter a lancé deux nouvelles fonctionnalités — « Prompt Caching » et « Sticky Routing » — conçues pour réduire les coûts liés aux jetons lors des conversations à plusieurs échanges avec les agents. Cette innovation permet aux développeurs de réduire les dépenses lors d’interactions prolongées avec les agents, ce qui favorise une adoption plus large des applications d’agents.
Dans les conversations à plusieurs échanges, les agents renvoient fréquemment les mêmes invites système, définitions d’outils et instructions stratégiques. Même si l’utilisateur ne modifie qu’une seule entrée sur six échanges, chaque invite répétée entraîne des frais. La mise en cache des invites permet à OpenRouter de récupérer des données mises en cache, évitant ainsi le coût lié à la réémission d’invites identiques. Selon le fournisseur, les lectures en cache coûtent entre 0,1 et 0,5 fois le prix standard des entrées, ce qui réduit considérablement les dépenses. Par exemple, sur Claude Sonnet 4.6, les lectures en cache ne coûtent que 0,30 $ par million de tokens, contre 3,00 $ pour une entrée normale.

Pour maintenir l’efficacité de la mise en cache sur plusieurs tours de conversation, la fonctionnalité « Sticky Routing » d’OpenRouter envoie les requêtes suivantes au même fournisseur qui détient le cache « chaud », ce qui permet aux développeurs de bénéficier en permanence de lectures en cache à faible coût tout au long de la conversation.
Toutefois, pour tirer pleinement parti de cette innovation, les développeurs doivent conserver la même session tout au long de la conversation. Pour une mise en cache optimale, OpenRouter recommande de définir un session_id, qui active le « Sticky Routing » immédiatement après la première requête réussie — et pas seulement après un accès au cache. Les développeurs peuvent également vérifier l’utilisation du cache en consultant les données de réponse.
À mesure que la technologie d’IA progresse, la dernière fonctionnalité d’OpenRouter offre non seulement aux développeurs un puissant outil de maîtrise des coûts, mais ouvre également de nouvelles possibilités pour les applications d’agents.
Stripe va acquérir OpenRouter alors que le routage basé sur des modèles d'IA prend de l'ampleur
Stripe a conclu un accord en vue d’acquérir OpenRouter, une plateforme de routage de modèles d’IA qui permet aux développeurs d’accéder à des centaines de modèles via une interface unique. Cette acqui
Barrett Zoph, ancien chercheur chez OpenAI, revient chez Google pour contribuer au développement de Gemini
Barret Zoph, qui avait auparavant quitté brusquement l’entreprise pour rejoindre OpenAI en raison d’un désaccord avec Miriam Mularati, PDG de Thinking Machines Lab, a une nouvelle fois changé d’employ
Comment Recursive Intelligence a levé 335 millions de dollars en 4 mois, avec une valorisation de 4 milliards de dollars
Les cofondatrices de la start-up Ricursive Intelligence semblaient destinées à devenir cofondatrices.Anna Goldie, PDG, et Azalia Mirhoseini, directrice technique, sont si connues dans le milieu de l’I











