busbar
AI 代理的執行控制平面。控管每個模型請求、MCP 工具呼叫、A2A 委派,以及下游動作——同時保留您的原生協定
busbar 是什麼?
AI 代理的執行控制平面。控管每個模型請求、MCP 工具呼叫、A2A 委派,以及下游動作——同時保留您的原生協定:六種原生 LLM 協定輸入,六種原生 LLM 協定輸出。
busbar 概覽
這是什麼
Busbar 是一個自託管的 AI 代理執行控制平面。它位於 AI 應用程式與目標(模型、MCP 工具、A2A 代理)之間,用來管控每個請求。它是一個靜態 Rust 二進位檔,將供應商憑證保留在邊界,並保留原生 SDK 工作流程。它支援六種原生 LLM 線路協定:OpenAI、OpenAI Responses、Anthropic、Gemini、Cohere 和 Bedrock Converse。相同協定的路由與直接呼叫供應商完全一致(位元組相同)。跨協定路由則會在協定之間進行轉換。它是自託管的,沒有代管服務、無需註冊、也不會回傳任何資料。
主要功能
- 支援六種原生 LLM 線路協定,同時用於入口與出口。
- 相同協定轉發保留原始請求位元組,回應完全一致。
- 支援跨協定轉換。
- 自託管的靜態 Rust 二進位檔,佔用資源極少(閒置記憶體約 7.3 MiB,二進位檔大小約 12.39 MiB)。
- 憑證邊界:供應商金鑰保留在你的基礎設施內。
- 模型路由:支援加權池、斷路器與故障轉移(在第一個位元組之前進行請求中故障轉移)。
- 預算與執行證據,可供稽核。
- 低延遲(基準測試中 p99 為 82 µs)與高吞吐量(基準測試中每秒 67,837 個請求)。
使用情境
在生產環境中管控 AI 代理的執行。對模型請求、MCP 工具呼叫和 A2A 代理委派執行政策。在多個供應商之間路由流量,並具備故障轉移與韌性。將供應商憑證安全地保留在你的基礎設施內。透過保留的執行證據稽核所有 AI 執行。
快速開始
使用單一指令安裝: bash curl -fsSL https://getbusbar.com/install.sh | sh 然後透過 YAML 檔案進行設定(完整設定範例請參閱儲存庫 README)。將應用程式的 base URL 和 API 金鑰改為指向 Busbar。
授權與價格
採用 Apache-2.0 授權的開源軟體。未提供價格資訊(為開源專案)。
內容整理自該專案公開的 README 與儲存庫資訊。