編輯 | 星璇
出品 | 51CTO技術棧（微信號：blog51cto）
語義路由器是一種新模式，它使 AI Agent能夠為正確的任務選擇正確的 LLM，同時減少其對 LLM 的依賴。
新興的智能體Agent工作流程模式嚴重依賴 LLM 來執行推理和決策。每個Agent在任務執行期間多次調用 LLM。對于由多個Agent組成的工作流，調用次數呈指數級增長，從而導致成本和延遲。
有各種具有不同特性和功能的語言模型，例如小型語言模型、多模態模型和專門構建的特定于任務的模型。Agent可以使用這些模型來完成工作流程。這降低了成本和延遲，并提高了整體準確性。
語義路由器是一種模式，它使Agent能夠為正確的任務選擇正確的語言模型，同時還可以通過本地決策減少對模型的依賴。在幕后，語義路由器使用存儲在向量數據庫中的嵌入向量將提示與一組現有短語（也稱為話語）匹配，以將它們映射到特定路由。路由可以是最適合任務的 LLM。因為語義搜索決定了目標，所以我們稱之為語義路由器。
語義路由器使用與 RAG 管道中的檢索器相同的技術來執行語義搜索以查找正確的匹配項。但它不是文本塊，而是基于輸入返回單個預定義的路由。
盡管將語義路由器實現為Agent和 LLM 之間的自定義層在技術上是可行的，但開源 Semantic Router 項目越來越受歡迎。
一、Semantic Router 是何神器？
Semantic Router，是一種創新的開源工具，由一家名為 Aurelio AI 的公司開發，可改變基于 AI 的Agent的決策。該層通過利用語義向量空間更有效地路由請求，增強了 LLM 和Agent的功能。與依賴緩慢的 LLM 生成來做出工具使用決策的傳統方法不同，Semantic Router 利用語義含義的力量來做出快速準確的選擇。
該項目提供與各種嵌入模型的無縫集成，包括 Cohere 和 OpenAI 等流行選項，以及通過 HuggingFace 編碼器支持開源模型。該項目利用內部內存向量數據庫，但如果想要使用 Pinecone 和 Qdrant 等主流向量數據庫引擎，也很容易輕松配置。語義路由器能夠根據用戶查詢做出決策，從而顯著縮短處理時間，通常從 5000 毫秒縮短到僅 100 毫秒。
憑借其 MIT 許可證，Semantic Router 是可擴展的，允許開發人員自由地將其合并到他們的項目中。該工具解決了 AI 開發中的關鍵挑戰，包括安全性、可擴展性和速度，使其成為創建更高效、響應更迅速的Agent工作流程的寶貴資產。
二、語義路由器的關鍵組件
1.路由和話語Utterances
路由構成了 Semantic Router 決策過程的支柱。每個路由都代表一個潛在的決策或操作，并由一組 Utterances 定義，這些 Utterances 是映射到特定路由的示例輸入。系統會將這些 Utterances 饋送到每個路由的語義配置文件中。我們將新輸入與這些話語進行比較，以找到最接近的匹配項。
在實踐中，這允許系統根據輸入的語義含義對輸入進行分類和響應，而不是依賴 LLM 生成，因為 LLM 生成可能會很慢或容易出錯。開發人員可以自定義路由以適應特定應用程序 — 無論是篩選敏感主題、管理 API 還是在復雜的工作流程中編排工具。
2.編碼器和向量空間
為了將輸入與預定義的話語進行比較，語義路由器使用編碼器將文本轉換為高維向量。這些向量位于語義空間中，其中向量之間的距離反映了相應文本的語義相似性。距離越短，輸入的語義相關性就越高。
Semantic Router 支持多種編碼方法，包括用于高性能 API 驅動型工作流的 Cohere 和 OpenAI 編碼器，以及用于尋求開源、本地可執行替代方案的用戶的 Hugging Face 模型。開發人員可以靈活地選擇不同的編碼器，從而根據其特定的基礎設施定制系統，從而平衡性能、成本和隱私問題。
3.決策層
一旦輸入被編碼并與預定義的路由進行比較，語義路由器就會使用 RouteLayer 做出決策。該層聚合路由和嵌入，并管理決策過程。它還支持混合路由，系統可以結合本地和基于云的模型來優化性能。
4.本地 LLM 集成
對于希望保持對其 LLM 的完全控制或減少對外部 API 的依賴的開發人員，Semantic Router 通過 LlamaCPP 和 Hugging Face 模型提供對本地模型的支持。消費類硬件（如運行 Apple Metal 硬件加速的 MacBook 或 Microsoft Copilot+ PC）可以完全執行路由決策和 LLM 驅動的響應。這種本地執行模型不僅可以減少延遲和成本，還可以提高隱私和安全性。
5.可擴展性
向工作流添加更多工具和智能體時，可擴展性成為一個問題。LLM 的上下文窗口有限，這意味著它們難以處理大量數據或上下文。語義路由器通過將決策與 LLM 解耦來解決這個問題，使其能夠同時處理數千個工具，而不會使系統過載。這種關注點分離使智能體能夠在不犧牲性能或準確性的情況下進行擴展。
三、使用案例和場景
眾所周知，一個智能體需要同時管理多個工具、API 或數據集，這就特別適合 Semantic Router。在典型的工作流程中，路由器可以根據輸入快速確定要使用的工具或 API，而無需進行完整的 LLM 查詢。這在虛擬助手系統、內容生成工作流和大規模數據處理管道中特別有用。
例如，在虛擬助手中，Semantic Router 可以有效地將“安排會議”或“檢查天氣”等提示路由到適當的 API 或工具，而無需 LLM 參與每個決定。同樣，請求可以路由到經過微調的 LLM，以響應醫學或法律術語。這不僅可以減少延遲，還可以確保為用戶提供一致、可靠的體驗。
語義路由器可用于評估是否應將提示直接發送到在本地運行的小型語言模型，或者是否必須通過調用在云中運行的功能強大的 LLM 將其映射到函數及其參數。這在利用基于云的語言模型和本地語言模型的聯合語言模型的實現中尤其重要。
在智能體工作流時代，對高效、可擴展和確定性決策系統的需求比以往任何時候都更加迫切。Semantic Router 通過利用語義向量空間的強大功能來做出快速、可靠的決策，同時仍允許在需要時與 LLM 集成，從而提供強大的解決方案。它的靈活性、速度和確定性使其成為希望構建下一代 AI 系統的開發人員不可或缺的工具。
隨著 LLM 的發展和多樣化，Semantic Router 等工具對于確保Agent系統能夠執行、擴展和提供一致的結果至關重要。這將幫助開發人員找到在其工作流程中使用 AI 的新方法。
參考鏈接：https://thenewstack.io/semantic-router-and-its-role-in-designing-agentic-workflows/
