harbor
停止配置您的 AI 堆疊,開始使用它。一個指令就能帶來完整的預先配置 LLM 堆疊,包含數百種可供探索的服務。
harbor 是什麼?
停止配置您的 AI 堆疊,開始使用它。一個指令就能帶來完整的預先配置 LLM 堆疊,包含數百種可供探索的服務。
harbor 概覽
這是什麼
Harbor 是一個命令列工具與輔助應用程式,只需一條指令就能建立完整的本機 LLM 堆疊。它透過 Docker Compose 編排後端(如 Ollama、llama.cpp 或 vLLM)、前端(如 Open WebUI)以及支援服務(如用於網頁搜尋的 SearXNG、用於語音聊天的 Speaches、用於圖片生成的 ComfyUI),所有服務皆預先配置好可協同運作,無需手動設定。Harbor 採用 Apache-2.0 授權,屬於開源 AI 工具類別。其程式碼庫位於 https://github.com/av/harbor,社群支援可透過 Discord 在 https://discord.gg/8nDRphrhSF 取得。
主要功能
- 使用
harbor up單一指令部署預先接線的 LLM 堆疊。 - 支援多種推論後端:Ollama、llama.cpp、vLLM、Docker Model Runner、MLX、oMLX、TGI、LiteLLM、TabbyAPI、Aphrodite、SGLang、ktransformers、Mistral.rs、AirLLM。
- 包含 Open WebUI、ChatUI、Morphic、Perplexica、Local Deep Research 等前端,皆預先連接後端與搜尋服務。
- 透過 Harbor Boost 提供代理程式編碼工作流程,包含網路研究、交付審查與範圍檢查等模組。
- 內建通道功能(
harbor tunnel)與 Traefik 反向代理,可將服務暴露至網際網路。 - 透過 MetaMCP 與 mcpo 管理 MCP(模型上下文協定)工具,並提供 Web 介面進行設定。
- 支援使用 ComfyUI 與 Flux 進行圖片生成、使用 Speaches 進行語音聊天,以及使用 Dify、n8n、LangFlow 等 LLM 工作流程建構工具。
使用情境
- 在本機執行 LLM 以進行開發、測試或隱私敏感的應用,無需依賴雲端服務。
- 使用 SearXNG 與 Open WebUI 建立本機網頁 RAG(檢索增強生成)系統,進行深度研究。
- 使用 Boost 建構與測試代理程式編碼工作流程,包含多跳研究與交付審查。
- 在預先配置的環境中嘗試不同的推論引擎與前端。
- 將本機 AI 服務暴露至區域網路或網際網路,以便遠端存取或行動裝置使用。
快速開始
bash# 啟動完整配置的 Open WebUI 與 llama.cppharbor up# 現在 Open WebUI 可以使用網頁 RAG 與 TTS/STTharbor up searxng speaches安裝指南與完整服務目錄請參閱儲存庫的 README。
授權與價格
Harbor 採用 Apache-2.0 授權,為開源軟體。未提及價格資訊。
內容整理自該專案公開的 README 與儲存庫資訊。