gateway
一個飛快的 AI 閘道,內建護欄功能。透過一個快速友善的 API,路由至 1,600 多個 LLM 與 50 多個 AI 護欄。
gateway 是什麼?
一個飛快的 AI 閘道,內建護欄功能。透過一個快速友善的 API,路由至 1,600 多個 LLM 與 50 多個 AI 護欄。
gateway 概覽
這是什麼
AI Gateway 是一個輕量級、開源且企業級就緒的解決方案,專為快速、可靠且安全地路由至超過 1,600 個語言、視覺、音訊與影像模型而設計。它提供單一且與 OpenAI 相容的 API,讓您能在 2 分鐘內整合任何語言模型。此閘道支援 45 個以上的供應商與 8 個以上的代理框架,並內建護欄以驗證輸入與輸出。
主要功能
- 備援與自動重試(最多 5 次,採用指數退避)以提升可靠性
- 跨多個 API 金鑰或供應商的負載平衡,支援可設定的權重
- 多模態支援:視覺、音訊(文字轉語音與語音轉文字)及影像生成模型,使用 OpenAI 簽章
- 40 多個預建護欄用於輸入與輸出驗證,並支援自訂護欄
- 安全金鑰管理,包含虛擬金鑰與角色型存取控制(RBAC)
- 智慧快取(簡單與語意快取)以降低成本與延遲
- 用量分析:監控請求量、延遲、成本與錯誤率
使用情境
- 從單一 API 端點路由請求至多個 LLM 與供應商
- 對 LLM 輸入與輸出實施安全與合規護欄
- 透過快取、重試與供應商最佳化來管理成本
- 與代理框架(Autogen、CrewAI、LangChain、LlamaIndex 等)整合,建立複雜的 AI 工作流程
- 在企業環境中部署,支援私有雲選項(AWS、Azure、GCP、Kubernetes)
快速開始
npx @portkey-ai/gateway
閘道會執行於 http://localhost:8787/v1,主控台位於 http://localhost:8787/public/。如需部署指南(Docker、Node.js、Cloudflare 等),請參閱儲存庫的 README。
授權與價格
MIT 授權。此專案為開源。
內容整理自該專案公開的 README 與儲存庫資訊。