litellm
最快、最輕量的 AI 閘道。Rust 核心搭配 Python SDK。以 OpenAI（或原生）格式呼叫 100 多種 LLM API，具備成本追蹤、防護措施、負載平衡與日誌記錄功能 [Bedrock、Azure、OpenAI、Anthropic、OpenAI、VertexAI、vLLM、Nvidia NIM]
litellm 是什麼？
最快、最輕量的 AI 閘道。Rust 核心搭配 Python SDK。以 OpenAI（或原生）格式呼叫 100 多種 LLM API，具備成本追蹤、防護措施、負載平衡與日誌記錄功能 [Bedrock、Azure、OpenAI、Anthropic、OpenAI、VertexAI、vLLM、Nvidia NIM]
