OpenRouter、AIによる複数ターンにわたる会話のコストを大幅に削減する技術を発表
AI会話技術の進化に伴い、OpenRouterは、エージェントとの複数ターンにわたる会話におけるトークンコストを削減するために設計された2つの新機能、「プロンプトキャッシュ」と「スティッキールーティング」をリリースしました。この革新的な機能により、開発者はエージェントとの長時間のやり取りにおけるコストを削減でき、エージェントアプリケーションのより広範な導入が促進されます。
マルチターン会話では、エージェントが同じシステムプロンプト、ツール定義、戦略指示を頻繁に再送信します。たとえユーザーが6回のやり取りの中で入力を1つだけ変更したとしても、繰り返されるプロンプトごとに課金が発生します。「プロンプトキャッシュ」機能により、OpenRouterはキャッシュされたデータを取得できるため、同一のプロンプトを再送信するコストを回避できます。 プロバイダーによっては、キャッシュからの読み取りコストは標準的な入力価格の0.1~0.5倍であり、費用を大幅に削減できます。例えば、Claude Sonnet 4.6では、キャッシュからの読み取りは100万トークンあたりわずか0.30ドルであるのに対し、通常の入力は3.00ドルかかります。

複数のターンにわたってキャッシュの有効性を維持するため、OpenRouterの「スティッキー・ルーティング」機能は、ホットキャッシュを保持している同じプロバイダーに後続のリクエストを送信します。これにより、開発者は会話全体を通じて一貫して低コストのキャッシュ読み取りを利用できます。
ただし、この革新的な機能を最大限に活用するには、開発者はセッションを最初から最後まで維持する必要があります。最適なキャッシュを実現するため、OpenRouterではsession_idの設定を推奨しています。これにより、キャッシュヒット時だけでなく、最初のリクエストが成功した直後にスティッキー・ルーティングが有効になります。また、開発者はレスポンスデータを確認することで、キャッシュの使用状況を確認することもできます。
AI技術の進歩に伴い、OpenRouterの最新機能は、開発者に強力なコスト管理ツールを提供するだけでなく、エージェントアプリケーションに新たな可能性を切り開きます。
関連記事
AIモデルルーティングが勢いを増す中、StripeがOpenRouterを買収へ
Stripeは、開発者が単一のインターフェースを通じて数百のモデルにアクセスできるAIモデルルーティングプラットフォーム「OpenRouter」の買収に合意した。この買収により、StripeのAI活用やトークンベースの課金に関する既存の取り組みに、モデルの選択およびルーティング機能が追加されることになる。Stripeによると、OpenRouterは80社以上のプロバイダーが提供する400以上のモデ
OpenAIの元研究員バレット・ゾフ氏が、Geminiの開発を支援するためGoogleに復帰
以前、Thinking Machines LabのCEOであるミリアム・ムララティ氏との意見の相違により、突然同社を退社してOpenAIに加わったバレット・ゾフ氏が、再び転職した。Alphabet傘下のGoogleは、ゾフ氏が研究担当副社長として復帰し、強化学習とポストトレーニングに関する専門知識をGeminiチームにもたらすことを発表した。「回転ドア」式研究者のサイクルゾフ氏のキャリアは、AI人
Recursive Intelligenceが4か月で40億ドルの評価額に基づき3億3500万ドルを調達した経緯
スタートアップ「Ricursive Intelligence」の共同創業者たちは、まるで共同創業者になる運命にあったかのようだった。CEOのアンナ・ゴールディ氏とCTOのアザリア・ミルホセイニ氏は、AIコミュニティでは非常に有名であり、ゴールディ氏はTechCrunchに対し、「ザッカーバーグから、とんでもないオファーが書かれた奇妙なメールを受け取ったAIエンジニアたち」の一人だったと、笑いながら
関連特集おすすめ
コメント (0)
0/500
AI会話技術の進化に伴い、OpenRouterは、エージェントとの複数ターンにわたる会話におけるトークンコストを削減するために設計された2つの新機能、「プロンプトキャッシュ」と「スティッキールーティング」をリリースしました。この革新的な機能により、開発者はエージェントとの長時間のやり取りにおけるコストを削減でき、エージェントアプリケーションのより広範な導入が促進されます。
マルチターン会話では、エージェントが同じシステムプロンプト、ツール定義、戦略指示を頻繁に再送信します。たとえユーザーが6回のやり取りの中で入力を1つだけ変更したとしても、繰り返されるプロンプトごとに課金が発生します。「プロンプトキャッシュ」機能により、OpenRouterはキャッシュされたデータを取得できるため、同一のプロンプトを再送信するコストを回避できます。 プロバイダーによっては、キャッシュからの読み取りコストは標準的な入力価格の0.1~0.5倍であり、費用を大幅に削減できます。例えば、Claude Sonnet 4.6では、キャッシュからの読み取りは100万トークンあたりわずか0.30ドルであるのに対し、通常の入力は3.00ドルかかります。

複数のターンにわたってキャッシュの有効性を維持するため、OpenRouterの「スティッキー・ルーティング」機能は、ホットキャッシュを保持している同じプロバイダーに後続のリクエストを送信します。これにより、開発者は会話全体を通じて一貫して低コストのキャッシュ読み取りを利用できます。
ただし、この革新的な機能を最大限に活用するには、開発者はセッションを最初から最後まで維持する必要があります。最適なキャッシュを実現するため、OpenRouterではsession_idの設定を推奨しています。これにより、キャッシュヒット時だけでなく、最初のリクエストが成功した直後にスティッキー・ルーティングが有効になります。また、開発者はレスポンスデータを確認することで、キャッシュの使用状況を確認することもできます。
AI技術の進歩に伴い、OpenRouterの最新機能は、開発者に強力なコスト管理ツールを提供するだけでなく、エージェントアプリケーションに新たな可能性を切り開きます。
AIモデルルーティングが勢いを増す中、StripeがOpenRouterを買収へ
Stripeは、開発者が単一のインターフェースを通じて数百のモデルにアクセスできるAIモデルルーティングプラットフォーム「OpenRouter」の買収に合意した。この買収により、StripeのAI活用やトークンベースの課金に関する既存の取り組みに、モデルの選択およびルーティング機能が追加されることになる。Stripeによると、OpenRouterは80社以上のプロバイダーが提供する400以上のモデ
OpenAIの元研究員バレット・ゾフ氏が、Geminiの開発を支援するためGoogleに復帰
以前、Thinking Machines LabのCEOであるミリアム・ムララティ氏との意見の相違により、突然同社を退社してOpenAIに加わったバレット・ゾフ氏が、再び転職した。Alphabet傘下のGoogleは、ゾフ氏が研究担当副社長として復帰し、強化学習とポストトレーニングに関する専門知識をGeminiチームにもたらすことを発表した。「回転ドア」式研究者のサイクルゾフ氏のキャリアは、AI人
Recursive Intelligenceが4か月で40億ドルの評価額に基づき3億3500万ドルを調達した経緯
スタートアップ「Ricursive Intelligence」の共同創業者たちは、まるで共同創業者になる運命にあったかのようだった。CEOのアンナ・ゴールディ氏とCTOのアザリア・ミルホセイニ氏は、AIコミュニティでは非常に有名であり、ゴールディ氏はTechCrunchに対し、「ザッカーバーグから、とんでもないオファーが書かれた奇妙なメールを受け取ったAIエンジニアたち」の一人だったと、笑いながら





家






