OpenRouter 推出技術,大幅降低 AI 多輪對話成本
隨著 AI 對話技術的演進,OpenRouter 推出了兩項新功能——「提示緩存」與「固定路由」——旨在降低多輪客服對話中的代幣成本。這項創新讓開發者能在與客服的長時間互動中節省開支,從而促進客服應用程式的廣泛採用。
在多輪對話中,代理程式經常會重新傳送相同的系統提示、工具定義及策略指示。即使使用者在六輪對話中僅變更一項輸入內容,每次重複傳送的提示仍會產生費用。「提示快取」功能讓 OpenRouter 能調用快取資料,從而避免因重新傳送相同提示所產生的成本。 視服務供應商而定,快取讀取的費用僅為標準輸入價格的 0.1 至 0.5 倍,能顯著降低開支。例如,在 Claude Sonnet 4.6 上,快取讀取每百萬個 token 僅需 0.30 美元,而一般輸入則需 3.00 美元。

為了在多個回合中維持快取效能,OpenRouter 的「黏性路由」(Sticky Routing)會將後續請求發送至持有熱快取的同一服務供應商,讓開發人員能在整個對話過程中持續享有低成本的快取讀取服務。
然而,要充分利用這項創新功能,開發者必須在整個過程中保持相同的會話。為了達到最佳的快取效果,OpenRouter 建議設定 session_id,此舉將在首次成功請求後立即啟用「黏性路由」——而不僅是在快取命中之後。開發者亦可透過檢查回應資料來驗證快取的使用狀況。
隨著 AI 技術的進步,OpenRouter 的最新功能不僅為開發人員提供了一項強大的成本控制工具,更為代理應用程式開闢了新的可能性。
相關文章
隨著 AI 模型路由技術日益普及,Stripe 將收購 OpenRouter
Stripe 已同意收購 OpenRouter,這是一個 AI 模型路由平台,讓開發者能透過單一介面存取數百種模型。這筆交易為 Stripe 現有的 AI 應用及基於代幣的計費相關業務,增添了模型選擇與路由功能。據 Stripe 表示,OpenRouter 支援來自 80 多家供應商的 400 多個模型。開發者無需分別與各模型供應商進行整合,只需透過 OpenRouter 單一 API 即可發送請
前 OpenAI 研究員巴雷特·佐夫重返 Google,協助 Gemini 的開發工作
巴雷特·佐夫(Barret Zoph)先前因與 Thinking Machines Lab 執行長米里亞姆·穆拉拉蒂(Miriam Mularati)意見不合而突然離職並加入 OpenAI,如今他再次更換雇主。Alphabet 旗下的 Google 宣布,佐夫將以研究副總裁身分回歸,將他在強化學習與後訓練領域的專業知識帶入 Gemini 團隊。「旋轉門」研究人員的循環佐夫的職業生涯正是人工智慧人才
Recursive Intelligence 如何在 4 個月內以 40 億美元估值募得 3.35 億美元資金
新創公司 Ricursive Intelligence 的共同創辦人彷彿注定要成為夥伴。執行長安娜·戈迪(Anna Goldie)與技術長阿扎莉亞·米爾霍塞尼(Azalia Mirhoseini)在人工智慧界聲名遠播,戈迪向 TechCrunch 笑著透露:「我們正是那些收到祖克柏發來『奇怪電子郵件』、提出瘋狂邀約的人工智慧工程師之一。」(她們最終並未接受這些邀約。) 兩人曾一同在 Google
相關專題推薦
評論 (0)
0/500
隨著 AI 對話技術的演進,OpenRouter 推出了兩項新功能——「提示緩存」與「固定路由」——旨在降低多輪客服對話中的代幣成本。這項創新讓開發者能在與客服的長時間互動中節省開支,從而促進客服應用程式的廣泛採用。
在多輪對話中,代理程式經常會重新傳送相同的系統提示、工具定義及策略指示。即使使用者在六輪對話中僅變更一項輸入內容,每次重複傳送的提示仍會產生費用。「提示快取」功能讓 OpenRouter 能調用快取資料,從而避免因重新傳送相同提示所產生的成本。 視服務供應商而定,快取讀取的費用僅為標準輸入價格的 0.1 至 0.5 倍,能顯著降低開支。例如,在 Claude Sonnet 4.6 上,快取讀取每百萬個 token 僅需 0.30 美元,而一般輸入則需 3.00 美元。

為了在多個回合中維持快取效能,OpenRouter 的「黏性路由」(Sticky Routing)會將後續請求發送至持有熱快取的同一服務供應商,讓開發人員能在整個對話過程中持續享有低成本的快取讀取服務。
然而,要充分利用這項創新功能,開發者必須在整個過程中保持相同的會話。為了達到最佳的快取效果,OpenRouter 建議設定 session_id,此舉將在首次成功請求後立即啟用「黏性路由」——而不僅是在快取命中之後。開發者亦可透過檢查回應資料來驗證快取的使用狀況。
隨著 AI 技術的進步,OpenRouter 的最新功能不僅為開發人員提供了一項強大的成本控制工具,更為代理應用程式開闢了新的可能性。
隨著 AI 模型路由技術日益普及,Stripe 將收購 OpenRouter
Stripe 已同意收購 OpenRouter,這是一個 AI 模型路由平台,讓開發者能透過單一介面存取數百種模型。這筆交易為 Stripe 現有的 AI 應用及基於代幣的計費相關業務,增添了模型選擇與路由功能。據 Stripe 表示,OpenRouter 支援來自 80 多家供應商的 400 多個模型。開發者無需分別與各模型供應商進行整合,只需透過 OpenRouter 單一 API 即可發送請
前 OpenAI 研究員巴雷特·佐夫重返 Google,協助 Gemini 的開發工作
巴雷特·佐夫(Barret Zoph)先前因與 Thinking Machines Lab 執行長米里亞姆·穆拉拉蒂(Miriam Mularati)意見不合而突然離職並加入 OpenAI,如今他再次更換雇主。Alphabet 旗下的 Google 宣布,佐夫將以研究副總裁身分回歸,將他在強化學習與後訓練領域的專業知識帶入 Gemini 團隊。「旋轉門」研究人員的循環佐夫的職業生涯正是人工智慧人才
Recursive Intelligence 如何在 4 個月內以 40 億美元估值募得 3.35 億美元資金
新創公司 Ricursive Intelligence 的共同創辦人彷彿注定要成為夥伴。執行長安娜·戈迪(Anna Goldie)與技術長阿扎莉亞·米爾霍塞尼(Azalia Mirhoseini)在人工智慧界聲名遠播,戈迪向 TechCrunch 笑著透露:「我們正是那些收到祖克柏發來『奇怪電子郵件』、提出瘋狂邀約的人工智慧工程師之一。」(她們最終並未接受這些邀約。) 兩人曾一同在 Google





首頁






