distributed-llama
分散式 LLM 推論。將家用裝置連接成強大叢集,加速 LLM 推論。裝置越多,推論越快。
distributed-llama 是什麼?
分散式 LLM 推論。將家用裝置連接成強大叢集,加速 LLM 推論。裝置越多,推論越快。
distributed-llama 概覽
這是什麼
Distributed Llama 是一個開放原始碼專案,透過將多個家用裝置連接成叢集,實現分散式 LLM 推論。它利用張量平行處理與高速乙太網路同步,來加速推論效能。此專案支援 Linux、macOS 與 Windows,並針對 ARM 與 x86_64 AVX2 CPU 進行最佳化。
主要功能
- 支援在 1、2、4... 2^n 個節點上進行分散式推論,最大節點數等於模型的 KV 頭數量。
- 提供單一指令設定根節點,使用
python launch.py搭配預先配置的模型指令(例如 Llama 3.1 8B、Llama 3.3 70B、Qwen 3 系列)。 - 包含 CLI 指令:
dllama inference、dllama chat、dllama worker與dllama-api。 - 支援量化格式:
q40模型搭配q80buffer-float-type,以及f32模型搭配f32buffer-float-type。 - 允許手動轉換 Hugging Face 模型。
使用情境
- 在家用裝置叢集(例如 Raspberry Pi、Mac Mini、個人電腦)上執行大型語言模型,以獲得比單一裝置更快的推論速度。
- 為研究或業餘專案進行分散式推論實驗。
- 在沒有專用 GPU 硬體但有多個 CPU 裝置的環境中部署 LLM 推論。
快速開始
需要 Python 3 與 C++ 編譯器。若要使用特定模型設定根節點,請執行以下其中一個指令:python launch.py llama3_1_8b_instruct_q40python launch.py llama3_3_70b_instruct_q40python launch.py qwen3_8b_q40關於在 Linux、macOS、Windows、Raspberry Pi 或 GPU 上執行的詳細說明,請參閱儲存庫的 README。
授權與價格
此專案採用 MIT 授權條款釋出。它是開放原始碼且免費使用。
內容整理自該專案公開的 README 與儲存庫資訊。