semantic-router

一個開放、可程式化的決策層,適用於模型與運算。

semantic-router 是什麼?

一個開放、可程式化的決策層,適用於模型與運算。。},但注意:原JSON中summary与tagline相同,故翻译一致。categories中的“Ai”保留。输出仅此JSON。}```json // 注意:实际输出不应包含注释,此处仅为说明。正确输出如下: {

semantic-router 概覽

這是什麼

semantic-router 是一個開放原始碼、可程式化的決策層,用於模型與運算資源。它提供單一 API,根據使用者定義的政策,為每次呼叫選擇或組合模型。路由器可跨本地端、私有雲與公有雲運算後端運作,讓代理程式框架保留自己的代理循環、工具與任務狀態,而路由器則負責模型選擇與後端路由。

主要功能

  • 根據政策為每次呼叫選擇或組合模型。
  • 支援跨本地端、私有雲與公有雲運算的多個後端。
  • 可設定品質、延遲與成本的優先順序。
  • 將呼叫限制在核准的地理位置內。
  • 為多個模型提供單一 API。
  • 與現有代理程式框架整合,無需取代它們。

使用情境

semantic-router 適用於不同模型擅長不同任務、硬體速度與容量各異,以及運算需分散於邊緣、私有雲與公有雲的情境。它適合需要動態模型選擇、多模型混合架構與政策驅動路由的生產級 LLM 推論系統。範例應用包括即時幻覺偵測、遊標式自動模型選擇,以及類別感知語意快取。

快速開始

bashcurl -fsSL https://vllm-sr.ai/install.sh | bash -s -- --channel stable如需 pip、uv 或代理驅動安裝,請參閱儲存庫 README。

授權與價格

此專案採用 Apache-2.0 授權,為開放原始碼。價格資訊未說明。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/vllm-projectsemantic-router.svg)](https://yunodb.com/tools/vllm-projectsemantic-router?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/vllm-projectsemantic-router?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/vllm-projectsemantic-router.svg" alt="Featured on YunoDB" height="20"></a>