OpenRouter 推出新技术,大幅降低 AI 多轮对话成本
随着人工智能对话技术的不断发展,OpenRouter 推出了两项新功能——“提示缓存”和“粘性路由”,旨在降低多轮客服对话中的令牌成本。这项创新使开发人员能够在与客服的长时间交互中降低成本,从而促进客服应用的更广泛采用。
在多轮对话中,智能代理经常会重复发送相同的系统提示、工具定义和策略指令。即使用户在六轮对话中仅更改了一处输入,每次重复发送的提示都会产生费用。“提示缓存”功能使 OpenRouter 能够检索缓存数据,从而避免了重复发送相同提示所产生的费用。 根据服务提供商的不同,缓存读取的成本仅为标准输入价格的 0.1 到 0.5 倍,从而显著降低了开支。例如,在 Claude Sonnet 4.6 上,缓存读取每百万令牌仅需 0.30 美元,而普通输入则需 3.00 美元。

为了在多个回合中保持缓存的有效性,OpenRouter 的“粘性路由”(Sticky Routing)功能会将后续请求发送给持有热缓存的同一提供商,从而使开发者在整个对话过程中都能持续享受低成本的缓存读取。
不过,要充分利用这一创新功能,开发者必须在整个过程中保持同一会话。为了实现最佳缓存效果,OpenRouter 建议设置 session_id,这样“粘性路由”将在首次成功请求后立即激活——而不仅仅是在缓存命中之后。开发者还可以通过检查响应数据来验证缓存使用情况。
随着人工智能技术的进步,OpenRouter 的最新功能不仅为开发者提供了一款强大的成本控制工具,还为代理应用程序开辟了新的可能性。
相关文章
随着AI模型路由技术势头渐增,Stripe将收购OpenRouter
Stripe 已同意收购 OpenRouter——这是一家人工智能模型路由平台,可让开发者通过单一接口访问数百种模型。此项收购将模型选择和路由功能融入 Stripe 现有的 AI 应用及基于令牌的计费业务中。据 Stripe 称,OpenRouter 支持来自 80 多家提供商的 400 多个模型。开发者无需与每个模型提供商分别进行集成,只需通过 OpenRouter 借助一个 API 即可发送请
前OpenAI研究员巴雷特·佐夫重返谷歌,助力Gemini的开发
巴雷特·佐夫(Barret Zoph)此前因与Thinking Machines Lab首席执行官米里亚姆·穆拉拉蒂(Miriam Mularati)意见不合而突然离职并加入OpenAI,如今他再次更换了雇主。Alphabet旗下的谷歌宣布,佐夫将回归担任研究副总裁,将其在强化学习和后训练方面的专业知识带入Gemini团队。“旋转门”式研究人员的职业循环佐夫的职业生涯是人工智能人才流动的典型例证。
Recursive Intelligence 如何在4个月内以40亿美元估值筹集3.35亿美元
初创公司Ricursive Intelligence的联合创始人似乎注定要成为联合创始人。首席执行官安娜·戈迪(Anna Goldie)和首席技术官阿扎莉亚·米尔霍塞伊尼(Azalia Mirhoseini)在人工智能界声名显赫,戈迪向TechCrunch笑称,她们正是那些“收到扎克伯格发来的奇怪邮件、里面提出疯狂邀约”的人工智能工程师之一。(她们最终没有接受这些邀约。) 两人曾共同在谷歌大脑(G
相关专题推荐
评论 (0)
0/500
随着人工智能对话技术的不断发展,OpenRouter 推出了两项新功能——“提示缓存”和“粘性路由”,旨在降低多轮客服对话中的令牌成本。这项创新使开发人员能够在与客服的长时间交互中降低成本,从而促进客服应用的更广泛采用。
在多轮对话中,智能代理经常会重复发送相同的系统提示、工具定义和策略指令。即使用户在六轮对话中仅更改了一处输入,每次重复发送的提示都会产生费用。“提示缓存”功能使 OpenRouter 能够检索缓存数据,从而避免了重复发送相同提示所产生的费用。 根据服务提供商的不同,缓存读取的成本仅为标准输入价格的 0.1 到 0.5 倍,从而显著降低了开支。例如,在 Claude Sonnet 4.6 上,缓存读取每百万令牌仅需 0.30 美元,而普通输入则需 3.00 美元。

为了在多个回合中保持缓存的有效性,OpenRouter 的“粘性路由”(Sticky Routing)功能会将后续请求发送给持有热缓存的同一提供商,从而使开发者在整个对话过程中都能持续享受低成本的缓存读取。
不过,要充分利用这一创新功能,开发者必须在整个过程中保持同一会话。为了实现最佳缓存效果,OpenRouter 建议设置 session_id,这样“粘性路由”将在首次成功请求后立即激活——而不仅仅是在缓存命中之后。开发者还可以通过检查响应数据来验证缓存使用情况。
随着人工智能技术的进步,OpenRouter 的最新功能不仅为开发者提供了一款强大的成本控制工具,还为代理应用程序开辟了新的可能性。
随着AI模型路由技术势头渐增,Stripe将收购OpenRouter
Stripe 已同意收购 OpenRouter——这是一家人工智能模型路由平台,可让开发者通过单一接口访问数百种模型。此项收购将模型选择和路由功能融入 Stripe 现有的 AI 应用及基于令牌的计费业务中。据 Stripe 称,OpenRouter 支持来自 80 多家提供商的 400 多个模型。开发者无需与每个模型提供商分别进行集成,只需通过 OpenRouter 借助一个 API 即可发送请
前OpenAI研究员巴雷特·佐夫重返谷歌,助力Gemini的开发
巴雷特·佐夫(Barret Zoph)此前因与Thinking Machines Lab首席执行官米里亚姆·穆拉拉蒂(Miriam Mularati)意见不合而突然离职并加入OpenAI,如今他再次更换了雇主。Alphabet旗下的谷歌宣布,佐夫将回归担任研究副总裁,将其在强化学习和后训练方面的专业知识带入Gemini团队。“旋转门”式研究人员的职业循环佐夫的职业生涯是人工智能人才流动的典型例证。
Recursive Intelligence 如何在4个月内以40亿美元估值筹集3.35亿美元
初创公司Ricursive Intelligence的联合创始人似乎注定要成为联合创始人。首席执行官安娜·戈迪(Anna Goldie)和首席技术官阿扎莉亚·米尔霍塞伊尼(Azalia Mirhoseini)在人工智能界声名显赫,戈迪向TechCrunch笑称,她们正是那些“收到扎克伯格发来的奇怪邮件、里面提出疯狂邀约”的人工智能工程师之一。(她们最终没有接受这些邀约。) 两人曾共同在谷歌大脑(G





首页






