gateway

一個飛快的 AI 閘道,內建護欄功能。透過一個快速友善的 API,路由至 1,600 多個 LLM 與 50 多個 AI 護欄。

gateway 是什麼?

一個飛快的 AI 閘道,內建護欄功能。透過一個快速友善的 API,路由至 1,600 多個 LLM 與 50 多個 AI 護欄。

gateway 概覽

這是什麼

AI Gateway 是一個輕量級、開源且企業級就緒的解決方案,專為快速、可靠且安全地路由至超過 1,600 個語言、視覺、音訊與影像模型而設計。它提供單一且與 OpenAI 相容的 API,讓您能在 2 分鐘內整合任何語言模型。此閘道支援 45 個以上的供應商與 8 個以上的代理框架,並內建護欄以驗證輸入與輸出。

主要功能

  • 備援與自動重試(最多 5 次,採用指數退避)以提升可靠性
  • 跨多個 API 金鑰或供應商的負載平衡,支援可設定的權重
  • 多模態支援:視覺、音訊(文字轉語音與語音轉文字)及影像生成模型,使用 OpenAI 簽章
  • 40 多個預建護欄用於輸入與輸出驗證,並支援自訂護欄
  • 安全金鑰管理,包含虛擬金鑰與角色型存取控制(RBAC)
  • 智慧快取(簡單與語意快取)以降低成本與延遲
  • 用量分析:監控請求量、延遲、成本與錯誤率

使用情境

  • 從單一 API 端點路由請求至多個 LLM 與供應商
  • 對 LLM 輸入與輸出實施安全與合規護欄
  • 透過快取、重試與供應商最佳化來管理成本
  • 與代理框架(Autogen、CrewAI、LangChain、LlamaIndex 等)整合,建立複雜的 AI 工作流程
  • 在企業環境中部署,支援私有雲選項(AWS、Azure、GCP、Kubernetes)

快速開始

npx @portkey-ai/gateway

閘道會執行於 http://localhost:8787/v1,主控台位於 http://localhost:8787/public/。如需部署指南(Docker、Node.js、Cloudflare 等),請參閱儲存庫的 README。

授權與價格

MIT 授權。此專案為開源。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/portkey-aigateway.svg)](https://yunodb.com/tools/portkey-aigateway?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/portkey-aigateway?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/portkey-aigateway.svg" alt="Featured on YunoDB" height="20"></a>