sample-genai-on-eks-starter-kit
在 Amazon EKS 上部署可用於正式環境的生成式 AI 基礎設施的全方位工具組。包含預先配置的元件：🚀 AI 閘道 (LiteLLM)、🤖 LLM 服務 (vLLM、SGLang、Ollama)、📊 向量資料庫、🔍 嵌入模型 (TEI)、📈 可觀測性工具 (Langfuse、Phoenix) 等。透過您的 EKS
sample-genai-on-eks-starter-kit 是什麼？
一個全方位的工具組，用於在 Amazon EKS 上部署可用於正式環境的生成式 AI 基礎設施。包含預先配置的元件：🚀 AI 閘道 (LiteLLM)、🤖 LLM 服務 (vLLM、SGLang、Ollama)、📊 向量資料庫、🔍 嵌入模型 (TEI)、📈 可觀測性工具 (Langfuse、Phoenix) 等。透過 Kubernetes 加速您的 GenAI 部署。
