harbor

停止配置您的 AI 堆疊,開始使用它。一個指令就能帶來完整的預先配置 LLM 堆疊,包含數百種可供探索的服務。

harbor 是什麼?

停止配置您的 AI 堆疊,開始使用它。一個指令就能帶來完整的預先配置 LLM 堆疊,包含數百種可供探索的服務。

harbor 概覽

這是什麼

Harbor 是一個命令列工具與輔助應用程式,只需一條指令就能建立完整的本機 LLM 堆疊。它透過 Docker Compose 編排後端(如 Ollama、llama.cpp 或 vLLM)、前端(如 Open WebUI)以及支援服務(如用於網頁搜尋的 SearXNG、用於語音聊天的 Speaches、用於圖片生成的 ComfyUI),所有服務皆預先配置好可協同運作,無需手動設定。Harbor 採用 Apache-2.0 授權,屬於開源 AI 工具類別。其程式碼庫位於 https://github.com/av/harbor,社群支援可透過 Discord 在 https://discord.gg/8nDRphrhSF 取得。

主要功能

  • 使用 harbor up 單一指令部署預先接線的 LLM 堆疊。
  • 支援多種推論後端:Ollama、llama.cpp、vLLM、Docker Model Runner、MLX、oMLX、TGI、LiteLLM、TabbyAPI、Aphrodite、SGLang、ktransformers、Mistral.rs、AirLLM。
  • 包含 Open WebUI、ChatUI、Morphic、Perplexica、Local Deep Research 等前端,皆預先連接後端與搜尋服務。
  • 透過 Harbor Boost 提供代理程式編碼工作流程,包含網路研究、交付審查與範圍檢查等模組。
  • 內建通道功能(harbor tunnel)與 Traefik 反向代理,可將服務暴露至網際網路。
  • 透過 MetaMCP 與 mcpo 管理 MCP(模型上下文協定)工具,並提供 Web 介面進行設定。
  • 支援使用 ComfyUI 與 Flux 進行圖片生成、使用 Speaches 進行語音聊天,以及使用 Dify、n8n、LangFlow 等 LLM 工作流程建構工具。

使用情境

  • 在本機執行 LLM 以進行開發、測試或隱私敏感的應用,無需依賴雲端服務。
  • 使用 SearXNG 與 Open WebUI 建立本機網頁 RAG(檢索增強生成)系統,進行深度研究。
  • 使用 Boost 建構與測試代理程式編碼工作流程,包含多跳研究與交付審查。
  • 在預先配置的環境中嘗試不同的推論引擎與前端。
  • 將本機 AI 服務暴露至區域網路或網際網路,以便遠端存取或行動裝置使用。

快速開始

bash# 啟動完整配置的 Open WebUI 與 llama.cppharbor up# 現在 Open WebUI 可以使用網頁 RAG 與 TTS/STTharbor up searxng speaches安裝指南與完整服務目錄請參閱儲存庫的 README。

授權與價格

Harbor 採用 Apache-2.0 授權,為開源軟體。未提及價格資訊。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/avharbor.svg)](https://yunodb.com/tools/avharbor?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/avharbor?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/avharbor.svg" alt="Featured on YunoDB" height="20"></a>