semantic-router

超快速AI決策與多模態資料的智慧處理。

semantic-router 是什麼?

超快速AI決策與多模態資料的智慧處理。支援多種資料類型,實現高效能的人工智慧判斷與分析。

semantic-router 概覽

這是什麼

Semantic Router 是一個超快速的決策層,專為 LLM 和代理(agents)設計。它能在毫秒內做出決策,方法是將請求的語義與向量空間中的預設路由進行比較,或透過一次快速呼叫小型決策模型。每個決策都附有可校準為真實機率的信心分數。本專案有兩個發行線:1.x 線(main 分支)圍繞校準信心、決策模型和可組合路由器重建路由層;0.x 線(v0 分支)終止於 0.3.0 版本,僅接收錯誤修復。

主要功能

  • 超快速決策(毫秒級),避免因 LLM 生成而延遲工具使用決策。
  • 將請求與向量空間中的路由進行語義比較。
  • 可選用小型決策模型進行單次快速呼叫。
  • 每個決策的信心校準,可轉換為真實機率。
  • 兩個發行線:1.x 提供進階路由功能,0.x 提供穩定的錯誤修復。

使用情境

Semantic Router 用於將使用者請求路由至適當的 LLM 工具或代理。它可根據語義決定由哪個工具或代理處理查詢,從而實現高效的多代理系統和工具選擇。適用於任何需要快速、基於語義的 LLM 互動決策的應用。

快速開始

使用 pip 安裝套件: pip install -qU 'semantic-router>=1,' 更多資訊請參閱儲存庫的 README 和文件。

授權與價格

本專案為 MIT 授權的開源軟體。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/aurelio-labssemantic-router.svg)](https://yunodb.com/tools/aurelio-labssemantic-router?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/aurelio-labssemantic-router?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/aurelio-labssemantic-router.svg" alt="Featured on YunoDB" height="20"></a>