future-agi
用於評估、觀察和改進 LLM 與 AI 代理應用程式的開源端到端平台。Tracing · Evals · Simulations · Datasets · Gateway · Gu
future-agi 是什麼?
用於評估、觀察和改進 LLM 與 AI 代理應用程式的開源端到端平台。Tracing · Evals · Simulations · Datasets · Gateway · Guardrails。可自行託管。Apache 2.0。
future-agi 概覽
這是什麼
Future AGI 是一個開放原始碼、端到端的平台,用於評估、觀察和改進 LLM 與 AI 代理應用程式。它將追蹤、評估、模擬、資料集、閘道器和防護機制整合在單一平台中。該專案可自行託管,採用 Apache 2.0 授權。
主要功能
- 模擬:使用逼真的角色、對抗性輸入和邊緣案例產生數千輪多輪對話,支援文字和語音(LiveKit、VAPI、Retell、Pipecat)。
- 評估:透過單一
evaluate()呼叫使用 50 多種指標,涵蓋基礎事實、幻覺、工具使用正確性、PII、語氣和自訂評分標準,採用 LLM 作為評審、啟發式和機器學習方法。 - 防護:18 個內建掃描器(PII、越獄、注入等)加上 15 個供應商適配器(Lakera、Presidio、Llama Guard 等),可內嵌於閘道器或作為獨立 SDK。
- 監控:跨 50 多個框架(LangChain、LlamaIndex、CrewAI、DSPy 等)的原生 OpenTelemetry 追蹤,提供跨度圖、延遲、代幣成本和即時儀表板。
- 代理指揮中心:相容 OpenAI 的閘道器,支援 100 多個供應商、15 種路由策略、語義快取、虛擬金鑰、MCP 和 A2A。效能:約 29k req/s,啟用防護時 P99 ≤ 21ms。
- 最佳化:六種提示最佳化演算法(GEPA、PromptWizard、ProTeGi、貝氏、Meta-Prompt、隨機),使用生產追蹤作為訓練資料。
使用情境
- 部署能自我改進的 AI 代理,在啟動前模擬邊緣案例、評估生產行為、即時保護使用者,並將每次追蹤轉化為下一版本的訊號。
- 用單一平台取代多種工具(Langfuse、Braintrust、Helicone、Guardrails AI、自訂模擬器)的組合,涵蓋生命週期:模擬 → 評估 → 防護 → 監控 → 最佳化。
- 自行託管以確保資料主權,或使用受管雲端服務;透過 OTel 或相容 OpenAI 的 HTTP 插入現有堆疊。
快速開始
bash git clone https://github.com/future-agi/future-agi.git cd future-agi ./bin/install # Windows (PowerShell): ./.bin/install.ps1 安裝後,開啟 http://localhost:3000,建立帳戶,從側邊欄複製 API 金鑰和密鑰,然後使用提供的 Python 或 TypeScript 儀器化發送第一個追蹤。
授權與價格
Apache 2.0 開放原始碼授權。該專案免費且可自行託管;另提供受管雲端版本,附有免費方案(無需信用卡)。
內容整理自該專案公開的 README 與儲存庫資訊。