耗資 15 億美元的新型路由器模型精確度高達 93%，消除了昂貴的再訓練成本

Katanemo Labs 的研究人員推出了 Arch-Router，這是一個先進的路由模型和框架，其設計目的是將用戶的查詢智能地導向到最合適的大型語言模型 (LLM)。

對於開發使用多種 LLM 的產品的公司來說，Arch-Rolver 能夠解決一個核心難題：如何自動將每個請求路由到最適合該任務的模型，而無需依賴不夠靈活的邏輯，或在需要更新時進行昂貴的重新訓練。

LLM 路由的挑戰

隨著可用 LLM 種類的增加，開發人員正從單模型配置轉向多模型架構，利用不同模型的獨特功能來執行專門的功能，例如產生程式碼、總結文字或編輯圖片。

LLM 路由已經成為建構和執行此類系統的重要技術，它就像一個智慧型流量導向器，將每個使用者的查詢引導到最適合處理的模型。

目前的路由方法一般可分為兩大類：基於任務的路由（根據預先定義的任務類別分配查詢）和基於效能的路由（尋求開支和輸出品質之間的最佳折衷）。

然而，當使用者的意圖含糊不清或在對話過程中發生變化時，基於任務的系統往往會失敗，尤其是在多輪對話中。與此同時，以效能為基礎的路由往往會優先處理靜態的基準結果，經常忽略實際使用者的偏好，而且在沒有昂貴的重新訓練的情況下，對新模型的適應速度很慢。

Katanemo 實驗室的研究人員在他們的論文中指出，更深層的問題是「現有的路由方法在實際應用上有其限制。大多數都是針對基準效能進行最佳化，卻忽略了人類的偏好，而人類的偏好是由主觀的評估標準所引導的"。

該團隊強調路由系統的重要性，「它能反映人類的主觀判斷，提供更大的透明度，並隨著模型和應用程式的演進而容易調整」。

偏好對齊路由的新框架

為了克服這些問題，研究人員開發了一個「偏好對齊的路由」框架，可根據自訂的使用者偏好，將傳入的查詢與路由規則相匹配。

在這個系統中，使用者透過兩層「領域-行動分類結構」，使用自然語言定義他們的路由政策。這個結構反映了人們如何自然地描述任務：從廣泛的類別--「領域」開始，例如「法律」或「財務」--再深入到特定的任務--「行動」，例如「總結」或「編碼」。

然後，每項政策都會映射到偏好的模型，讓開發人員能夠根據實際需求來選擇路由，而不只是基準指標。根據該論文，「此分類法可作為心智模型，協助使用者建立定義明確且結構化的路由政策」。

路由程序分兩個階段運作。首先，偏好對齊的路由器模型會根據所有可用的政策來評估使用者的查詢，並挑出最適合的政策。其次，映射功能會將選取的政策連接到其指定的 LLM。

由於選擇模型的邏輯與政策定義是分開的，因此開發人員只需編輯路由規則即可新增、移除或更新模型，而無需重新訓練或變更路由器。這種分離使生產環境具有必要的彈性，因為模型和應用程式會不斷改變。

策略選擇由 Arch-Router 執行，Arch-Router 是一個精簡的 15 億參數語言模型，專為偏好感知路由進行最佳化。Arch-Router 將使用者查詢和完整的政策描述清單作為輸入，然後輸出最適合的政策識別碼。

由於政策包含在輸入中，因此系統可以在推論過程中，透過情境中學習（in-context learning）來適應新的或更新的路由，而不需要重新訓練。這種產生式策略讓 Arch-Router 能夠利用其預先訓練的理解能力來詮釋查詢和政策的意義，並一次過分析完整的對話歷史。

在提示中包含冗長的政策清單時，一個常見的憂慮是會有較高延遲的風險。然而，該團隊建立 Arch-Router 的目的就是要達到高效率。"本文作者之一、Katanemo Labs 創辦人/執行長 Salman Paracha 表示：「即使有大量的路由政策，我們也可以擴大 Arch-Router 的上下文視窗，而對延遲影響極小。他指出，延遲主要取決於輸出長度，而 Arch-Router 只會輸出簡短的政策名稱，例如「image_editing」或「document_creation」。

行動中的 Arch-Router

為了建立 Arch-Router，研究團隊使用精心組合的 43,000 個範例資料集，微調了 Qwen 2.5 模型的 1.5B 參數變體。之後，他們在四個用於測試會話式 AI 系統的公開資料集中，將 Arch-Router 與 OpenAI、Anthropic 和 Google 的領先專有模型進行比較。

研究結果顯示，Arch-Router 的整體路由得分最高，達到 93.17%，比其他所有模型 (包括頂尖的專屬模型) 平均高出 7.71%。該模型的優勢在較長的對話中更加明顯，展示了其在多次交換中保持上下文的卓越能力。

Paracha 指出，在現實世界中，這種方法已經應用在多種環境中。例如，在開放原始碼編碼平台中，開發人員依靠 Arch-Router 來引導工作流程中的不同部分，例如「程式碼設計」、「程式碼理解」和「程式碼產生」，並將每個步驟引導至最有效的 LLM。同樣地，組織可以將文件建立任務路由至 Claude 3.7 Sonnet 等模型，同時將影像編輯請求傳送至 Gemini 2.5 Pro。

該系統也非常適合「跨領域的個人助理，使用者會執行從總結文字到回答事實查詢等一系列活動」，Paracha 解釋說，「在這種情況下，Arch-Router 可協助產品團隊鞏固並改善使用者的整體體驗」。

此架構內建於Katanemo Labs針對代理的AI原生代理伺服器Arch中，支援執行細粒度的流量管理規則。例如，在新增 LLM 時，團隊可以將特定政策下的一小部分流量路由至新模型，使用內部分析驗證其效能，然後有信心地將所有流量轉移過來。該公司也在努力將其工具與評估平台整合，讓企業開發人員的工作流程更加順暢。

其核心目標是協助企業超越互不相關的 AI 實作。「Arch-Router以及Arch平台整體可讓開發人員和企業從零散的LLM使用演進到統一的、政策管理的系統，」Paracha表示。「當使用者執行各式各樣的任務時，我們的平台將這種任務和模型的多樣性轉換為一種具凝聚力的體驗，讓最終的產品感覺無縫而直觀。」