mesh-llm
為一般使用者打造的分散式 AI/LLM。私密或公開地分享運算資源,驅動您的代理程式與對話。
mesh-llm 是什麼?
針對一般使用者設計的分散式 AI/LLM 解決方案,可透過私密或公開方式分享運算資源,驅動您的代理程式與對話。
mesh-llm 概覽
這是什麼
Mesh LLM 將多台機器的 GPU 與記憶體匯集起來,並以一個 OpenAI 相容的 API 暴露在 http://localhost:9337/v1。您可以先啟動一個節點,之後再加入更多節點,由網格決定模型是在本地執行、路由到對等節點,或是使用 Skippy 階段分割來處理單機無法容納的大型模型。
主要功能
- 單機優先:若一個節點能承載完整模型,則在本地提供服務,無需階段流量。
- 網格路由:每個節點都提供相同的
/v1API;請求根據model欄位路由到能提供該模型的對等節點。 - 加密對等傳輸:QUIC 端到端加密 Mesh 節點間的流量;Iroh 中繼轉發加密封包而不讀取其內容。
- 擁有者控制平面:操作員配置與庫存操作使用附加的
mesh-llm-control/2通道,並有明確的端點引導。 - Skippy 階段分割:大型稠密模型可載入為基於套件的層級階段;協調器規劃連續的層級範圍。
- 層級套件:套件倉庫包含
model-package.json與 GGUF 片段,讓對等節點只取得其分配階段所需的片段。 - 公開發現:已發布的網格透過 Nostr 發現進行廣告;私有網格則維持基於邀請令牌的方式。
使用情境
- 執行無法在單一機器上容納的大型語言模型,透過跨多個節點分割來達成。
- 建立私有或公開網格以進行協作式 AI 推論。
- 透過
mesh-llm子命令與 Goose、OpenCode、Claude Code 或 Pi 等代理工具整合。 - 使用僅限本地模型的服務(繞過網格網路)進行除錯與開發。
快速開始
安裝最新版本的執行檔:
curl -fsSL https://meshllm.cloud/install.sh | bash
在 Windows 上,使用 PowerShell:
irm https://meshllm.cloud/install.ps1 | iex
安裝 Apple Silicon Homebrew 公式:brew install Mesh-LLM/tap/mesh-llm。完成設定:
mesh-llm setup
加入公開網格並開始提供服務:
mesh-llm serve --auto
授權與價格
採用 Apache-2.0 授權。此專案為開放原始碼(pricing_type: open_source)。除開放原始碼授權外,未提及任何價格資訊。
內容整理自該專案公開的 README 與儲存庫資訊。