semantic-router
超快速AI決策與多模態資料的智慧處理。
semantic-router 是什麼?
超快速AI決策與多模態資料的智慧處理。支援多種資料類型,實現高效能的人工智慧判斷與分析。
semantic-router 概覽
這是什麼
Semantic Router 是一個超快速的決策層,專為 LLM 和代理(agents)設計。它能在毫秒內做出決策,方法是將請求的語義與向量空間中的預設路由進行比較,或透過一次快速呼叫小型決策模型。每個決策都附有可校準為真實機率的信心分數。本專案有兩個發行線:1.x 線(main 分支)圍繞校準信心、決策模型和可組合路由器重建路由層;0.x 線(v0 分支)終止於 0.3.0 版本,僅接收錯誤修復。
主要功能
- 超快速決策(毫秒級),避免因 LLM 生成而延遲工具使用決策。
- 將請求與向量空間中的路由進行語義比較。
- 可選用小型決策模型進行單次快速呼叫。
- 每個決策的信心校準,可轉換為真實機率。
- 兩個發行線:1.x 提供進階路由功能,0.x 提供穩定的錯誤修復。
使用情境
Semantic Router 用於將使用者請求路由至適當的 LLM 工具或代理。它可根據語義決定由哪個工具或代理處理查詢,從而實現高效的多代理系統和工具選擇。適用於任何需要快速、基於語義的 LLM 互動決策的應用。
快速開始
使用 pip 安裝套件: pip install -qU 'semantic-router>=1,' 更多資訊請參閱儲存庫的 README 和文件。
授權與價格
本專案為 MIT 授權的開源軟體。
內容整理自該專案公開的 README 與儲存庫資訊。