distributed-llama

分散式 LLM 推論。將家用裝置連接成強大叢集,加速 LLM 推論。裝置越多,推論越快。

distributed-llama 是什麼?

分散式 LLM 推論。將家用裝置連接成強大叢集,加速 LLM 推論。裝置越多,推論越快。

distributed-llama 概覽

這是什麼

Distributed Llama 是一個開放原始碼專案,透過將多個家用裝置連接成叢集,實現分散式 LLM 推論。它利用張量平行處理與高速乙太網路同步,來加速推論效能。此專案支援 Linux、macOS 與 Windows,並針對 ARM 與 x86_64 AVX2 CPU 進行最佳化。

主要功能

  • 支援在 1、2、4... 2^n 個節點上進行分散式推論,最大節點數等於模型的 KV 頭數量。
  • 提供單一指令設定根節點,使用 python launch.py 搭配預先配置的模型指令(例如 Llama 3.1 8B、Llama 3.3 70B、Qwen 3 系列)。
  • 包含 CLI 指令:dllama inference、dllama chat、dllama worker 與 dllama-api。
  • 支援量化格式:q40 模型搭配 q80 buffer-float-type,以及 f32 模型搭配 f32 buffer-float-type。
  • 允許手動轉換 Hugging Face 模型。

使用情境

  • 在家用裝置叢集(例如 Raspberry Pi、Mac Mini、個人電腦)上執行大型語言模型,以獲得比單一裝置更快的推論速度。
  • 為研究或業餘專案進行分散式推論實驗。
  • 在沒有專用 GPU 硬體但有多個 CPU 裝置的環境中部署 LLM 推論。

快速開始

需要 Python 3 與 C++ 編譯器。若要使用特定模型設定根節點,請執行以下其中一個指令:python launch.py llama3_1_8b_instruct_q40python launch.py llama3_3_70b_instruct_q40python launch.py qwen3_8b_q40關於在 Linux、macOS、Windows、Raspberry Pi 或 GPU 上執行的詳細說明,請參閱儲存庫的 README。

授權與價格

此專案採用 MIT 授權條款釋出。它是開放原始碼且免費使用。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/b4rtazdistributed-llama.svg)](https://yunodb.com/tools/b4rtazdistributed-llama?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/b4rtazdistributed-llama?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/b4rtazdistributed-llama.svg" alt="Featured on YunoDB" height="20"></a>