llmix
適用於 AI 代理與工具的生產級 LLM 呼叫層:保留 OpenAI/Anthropic/AI SDK/LiteLLM,使用 MDA 預設熱交換模型,並加入快取、重試、斷路器
llmix 是什麼?
適用於 AI 代理與工具的生產級 LLM 呼叫層:保留 OpenAI/Anthropic/AI SDK/LiteLLM,使用 MDA 預設熱交換模型,並加入快取、重試、斷路器、金鑰輪換、singleflight,以及 Python/TypeScript/Rust 的對等功能。
適用於 AI 代理與工具的生產級 LLM 呼叫層:保留 OpenAI/Anthropic/AI SDK/LiteLLM,使用 MDA 預設熱交換模型,並加入快取、重試、斷路器
適用於 AI 代理與工具的生產級 LLM 呼叫層:保留 OpenAI/Anthropic/AI SDK/LiteLLM,使用 MDA 預設熱交換模型,並加入快取、重試、斷路器、金鑰輪換、singleflight,以及 Python/TypeScript/Rust 的對等功能。