cascadeflow

用於AI代理的級聯運行時。在代理迴圈內部最佳化成本、延遲、品質及政策決策。

cascadeflow 是什麼?

用於AI代理的級聯運行時。在代理迴圈內部最佳化成本、延遲、品質及政策決策。

cascadeflow 概覽

這是什麼

cascadeflow 是一個為 AI 代理設計的處理中智慧層。它在執行迴圈內部(而非 HTTP 邊界)最佳化成本、延遲、品質、預算、合規性與能源消耗。支援 LangChain、OpenAI Agents SDK、CrewAI、PydanticAI、Google ADK、n8n、Vercel AI SDK 與 Hermes Agent。開銷低於 5 毫秒。

主要功能

  • 投機執行搭配品質驗證:先嘗試小型快速模型,僅在品質驗證失敗時才升級至較大模型。
  • 根據可設定的門檻(完整性、信心度、正確性)動態升級。
  • 學習模式以最佳化未來的串聯決策與領域特定路由。
  • 零配置;支援超過 17 個提供者的現有模型。
  • 三層整合:零變更可觀測性、附預算的作用域執行、以及附政策的裝飾代理。
  • Hermes Agent 整合,提供技能級模型串聯、任務複雜度串聯、主題感知子代理串聯、觀察模式部署與可稽核決策。

使用情境

  • 在 AI 代理迴圈中降低成本與延遲,同時維持品質。
  • 對每個步驟或每次工具呼叫強制執行預算、合規性與能源限制。
  • 根據代理狀態、工具結果與品質分數做出每步驟模型決策。
  • 在代理執行期間注入業務 KPI 權重(品質、成本、延遲)。
  • 使用 Hermes Agent 執行代理串聯以進行技能特定模型選擇。

快速開始

bash pip install cascadeflow bash npm install @cascadeflow/core python from cascadeflow import CascadeAgent, ModelConfig agent = CascadeAgent(models=[ ModelConfig(name='nous/hermes-flash', provider='openai', cost=0.000375), ModelConfig(name='gpt-5', provider='openai', cost=0.00562), ]) result = await agent.run('法國的首都是哪裡?') print(f'答案:{result.content}') print(f'使用的模型:{result.model_used}') print(f'成本:${result.total_cost:.6f}')

授權與價格

授權為 MIT。此專案為開源,未標示價格。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/lemony-aicascadeflow.svg)](https://yunodb.com/tools/lemony-aicascadeflow?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/lemony-aicascadeflow?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/lemony-aicascadeflow.svg" alt="Featured on YunoDB" height="20"></a>