self-hosted-ai-stack

利用 Docker Compose 部署完整的自託管 AI 堆疊:Ollama、LiteLLM、AnythingLLM、Whisper、WhisperLive、Kokoro、嵌入向量、Docling 與 MCP Gateway。以本機為先,預設隱私。

self-hosted-ai-stack 是什麼?

利用 Docker Compose 部署完整的自託管 AI 堆疊:Ollama、LiteLLM、AnythingLLM、Whisper、WhisperLive、Kokoro、嵌入向量、Docling 與 MCP Gateway。以本機為先、預設隱私,提供輕量級堆疊、可選 HTTPS 與 NVIDIA CUDA 加速。多架構支援:amd64、arm64。