cascadeflow
用於AI代理的級聯運行時。在代理迴圈內部最佳化成本、延遲、品質及政策決策。
cascadeflow 是什麼?
用於AI代理的級聯運行時。在代理迴圈內部最佳化成本、延遲、品質及政策決策。
cascadeflow 概覽
這是什麼
cascadeflow 是一個為 AI 代理設計的處理中智慧層。它在執行迴圈內部(而非 HTTP 邊界)最佳化成本、延遲、品質、預算、合規性與能源消耗。支援 LangChain、OpenAI Agents SDK、CrewAI、PydanticAI、Google ADK、n8n、Vercel AI SDK 與 Hermes Agent。開銷低於 5 毫秒。
主要功能
- 投機執行搭配品質驗證:先嘗試小型快速模型,僅在品質驗證失敗時才升級至較大模型。
- 根據可設定的門檻(完整性、信心度、正確性)動態升級。
- 學習模式以最佳化未來的串聯決策與領域特定路由。
- 零配置;支援超過 17 個提供者的現有模型。
- 三層整合:零變更可觀測性、附預算的作用域執行、以及附政策的裝飾代理。
- Hermes Agent 整合,提供技能級模型串聯、任務複雜度串聯、主題感知子代理串聯、觀察模式部署與可稽核決策。
使用情境
- 在 AI 代理迴圈中降低成本與延遲,同時維持品質。
- 對每個步驟或每次工具呼叫強制執行預算、合規性與能源限制。
- 根據代理狀態、工具結果與品質分數做出每步驟模型決策。
- 在代理執行期間注入業務 KPI 權重(品質、成本、延遲)。
- 使用 Hermes Agent 執行代理串聯以進行技能特定模型選擇。
快速開始
bash pip install cascadeflow bash npm install @cascadeflow/core python from cascadeflow import CascadeAgent, ModelConfig agent = CascadeAgent(models=[ ModelConfig(name='nous/hermes-flash', provider='openai', cost=0.000375), ModelConfig(name='gpt-5', provider='openai', cost=0.00562), ]) result = await agent.run('法國的首都是哪裡?') print(f'答案:{result.content}') print(f'使用的模型:{result.model_used}') print(f'成本:${result.total_cost:.6f}')
授權與價格
授權為 MIT。此專案為開源,未標示價格。
內容整理自該專案公開的 README 與儲存庫資訊。