mesh-llm

為一般使用者打造的分散式 AI/LLM。私密或公開地分享運算資源,驅動您的代理程式與對話。

mesh-llm 是什麼?

針對一般使用者設計的分散式 AI/LLM 解決方案,可透過私密或公開方式分享運算資源,驅動您的代理程式與對話。

mesh-llm 概覽

這是什麼

Mesh LLM 將多台機器的 GPU 與記憶體匯集起來,並以一個 OpenAI 相容的 API 暴露在 http://localhost:9337/v1。您可以先啟動一個節點,之後再加入更多節點,由網格決定模型是在本地執行、路由到對等節點,或是使用 Skippy 階段分割來處理單機無法容納的大型模型。

主要功能

  • 單機優先:若一個節點能承載完整模型,則在本地提供服務,無需階段流量。
  • 網格路由:每個節點都提供相同的 /v1 API;請求根據 model 欄位路由到能提供該模型的對等節點。
  • 加密對等傳輸:QUIC 端到端加密 Mesh 節點間的流量;Iroh 中繼轉發加密封包而不讀取其內容。
  • 擁有者控制平面:操作員配置與庫存操作使用附加的 mesh-llm-control/2 通道,並有明確的端點引導。
  • Skippy 階段分割:大型稠密模型可載入為基於套件的層級階段;協調器規劃連續的層級範圍。
  • 層級套件:套件倉庫包含 model-package.json 與 GGUF 片段,讓對等節點只取得其分配階段所需的片段。
  • 公開發現:已發布的網格透過 Nostr 發現進行廣告;私有網格則維持基於邀請令牌的方式。

使用情境

  • 執行無法在單一機器上容納的大型語言模型,透過跨多個節點分割來達成。
  • 建立私有或公開網格以進行協作式 AI 推論。
  • 透過 mesh-llm 子命令與 Goose、OpenCode、Claude Code 或 Pi 等代理工具整合。
  • 使用僅限本地模型的服務(繞過網格網路)進行除錯與開發。

快速開始

安裝最新版本的執行檔:

curl -fsSL https://meshllm.cloud/install.sh | bash

在 Windows 上,使用 PowerShell:

irm https://meshllm.cloud/install.ps1 | iex

安裝 Apple Silicon Homebrew 公式:brew install Mesh-LLM/tap/mesh-llm。完成設定:

mesh-llm setup

加入公開網格並開始提供服務:

mesh-llm serve --auto

授權與價格

採用 Apache-2.0 授權。此專案為開放原始碼(pricing_type: open_source)。除開放原始碼授權外,未提及任何價格資訊。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/mesh-llmmesh-llm.svg)](https://yunodb.com/tools/mesh-llmmesh-llm?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/mesh-llmmesh-llm?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/mesh-llmmesh-llm.svg" alt="Featured on YunoDB" height="20"></a>