litellm-rs
自架 Rust LLM 閘道,提供 OpenAI 相容 API、負載平衡、容錯移轉,以及可重複使用的 Rust 核心。
litellm-rs 是什麼?
自架 Rust LLM 閘道,提供 OpenAI 相容 API、負載平衡、容錯移轉,以及可重複使用的 Rust 核心。
自架 Rust LLM 閘道,提供 OpenAI 相容 API、負載平衡、容錯移轉,以及可重複使用的 Rust 核心。
自架 Rust LLM 閘道,提供 OpenAI 相容 API、負載平衡、容錯移轉,以及可重複使用的 Rust 核心。