self-hosted-ai-stack
使用 Docker Compose 部署自託管 AI 堆疊:本機 LLM、聊天、文件解析、嵌入、轉錄、文字轉語音及 MCP 工具。由 Ollam 提供支援。
self-hosted-ai-stack 是什麼?
使用 Docker Compose 部署自託管 AI 堆疊:本機 LLM、聊天、文件解析、嵌入、轉錄、文字轉語音及 MCP 工具。由 Ollama、LiteLLM、AnythingLLM 等提供支援。以本機為優先,具備自動設定驗證、輕量堆疊、可選 HTTPS 及 NVIDIA GPU 支援。MIT 授權。多架構:amd64、arm64。
self-hosted-ai-stack 概覽
這是什麼
Self-Hosted AI Stack 是一套 Docker Compose 部署方案,可執行本機 AI 模型、提供聊天介面、文件解析、嵌入向量、語音轉文字、文字轉語音及 MCP 工具。它由 Ollama、LiteLLM、AnythingLLM 等服務驅動。此堆疊以本機優先,具備自動設定的驗證機制、輕量堆疊選項、可選的 Caddy HTTPS 支援及 NVIDIA GPU 加速。採用 MIT 授權,支援 linux/amd64 與 linux/arm64 架構。
主要功能
- 零設定:所有服務在首次啟動時自動設定。
- 預設安全:AnythingLLM 啟用密碼保護,且內建 API 服務會自動產生金鑰。
- 支援 HTTPS:可選的 Caddy 覆蓋層提供自動 TLS,並將直接 HTTP 埠綁定至 localhost。
- 預設本機執行:在本機執行,並可透過 GatewayCrate 選擇性支援外部提供者。
- AI 代理就緒:可透過設定指南將工作站上的 goose 連接到 GatewayCrate。
- 彈性設定:使用簡單的環境變數檔自訂模型、埠號、提供者及 API 金鑰。
- 輕量堆疊:記憶體需求最低可至約 4.5 GB。
- GPU 加速:透過 NVIDIA CUDA。
- 多架構支援:linux/amd64、linux/arm64。
使用情境
- 網頁版 ChatGPT 風格聊天介面(chat-ui 堆疊)。
- 語音轉文字 → LLM → 文字轉語音流程(voice-pipeline 堆疊)。
- 具語音輸入/輸出的聊天介面(voice-chat 堆疊)。
- 語意搜尋 + LLM 問答(rag-pipeline 堆疊)。
- 文件解析 + RAG(rag-pipeline-full 堆疊)。
快速開始
需求:具備 Docker 的 Linux 伺服器(本機或雲端),至少 8 GB RAM(使用小型模型)。若使用較大的 LLM 模型(8B 以上),建議 16 GB 或更多。啟動完整堆疊:git clone https://github.com/hwdsl2/self-hosted-ai-stackcd self-hosted-ai-stackdocker compose up -d拉取模型(發送 LLM 請求前必須執行):docker exec ollama ollama_manage --pull llama3.2:3b執行健康檢查:./stack-check.sh取得 GatewayCrate 主金鑰:docker exec litellm litellm_manage --showkey取得自動產生的 AnythingLLM 密碼:docker exec anythingllm cat /app/server/storage/.initial_admin_password在瀏覽器開啟 http://<你的伺服器 IP>:3001 存取 AnythingLLM,以及 http://<你的伺服器 IP>:4000/ui 存取 GatewayCrate 管理介面。
授權與價格
MIT 授權。開放原始碼。
內容整理自該專案公開的 README 與儲存庫資訊。