PowerInfer

高速大語言模型服務,專為本地部署

PowerInfer 是什麼?

高速大語言模型服務,專為本地部署設計。符合AI類別,採用MIT授權。

PowerInfer 概覽

這是什麼

PowerInfer 是一個高速的大型語言模型(LLM)推理引擎,專為在配備單一消費級 GPU 的個人電腦上進行本地部署而設計。它利用 LLM 推理中固有的高局部性(activation locality),其特徵是神經元激活呈現冪律分佈。熱激活神經元會預先載入到 GPU,而冷激活神經元則在 CPU 上計算,從而減少 GPU 記憶體需求與 CPU-GPU 資料傳輸。

主要功能

  • 局部性為中心的設計:利用稀疏激活與「熱/冷」神經元概念,實現高效的 LLM 推理。
  • 混合 CPU/GPU 使用:無縫整合 CPU 與 GPU 的記憶體/計算能力,達到平衡的工作負載。
  • 易於整合:相容於流行的 ReLU 稀疏模型。
  • 本地部署簡便:專為消費級硬體的本地部署設計並深度最佳化。
  • 向後相容:支援使用 llama.cpp 的模型權重進行推理,以確保相容性。

使用情境

在消費級硬體上本地部署大型語言模型,實現低延遲推理與單一 GPU 上的服務。適合在個人電腦上執行 Falcon-40B、Llama2 系列、ProSparse Llama2 系列及 Bamboo-7B 等模型。

快速開始

git clone https://github.com/Tiiny-AI/PowerInfer
cd PowerInfer
pip install -r requirements.txt
### 使用 CMake 建置(以 NVIDIA GPU 為例):
cmake -S . -B build -DLLAMA_CUBLAS=ON
cmake --build build --config Release

若為 AMD GPU 或僅 CPU 的建置方式,請參閱儲存庫的 README。

授權與價格

授權:MIT。開源。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/tiiny-aipowerinfer.svg)](https://yunodb.com/tools/tiiny-aipowerinfer?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/tiiny-aipowerinfer?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/tiiny-aipowerinfer.svg" alt="Featured on YunoDB" height="20"></a>