peft

🤗 PEFT:最先進的參數高效微調技術。

peft 是什麼?

🤗 PEFT:最先進的參數高效微調技術。此函式庫整合了多種參數高效微調方法,讓您無需微調所有模型參數,即可有效率地將大型預訓練模型應用於下游任務。

peft 概覽

這是什麼

PEFT(Parameter-Efficient Fine-Tuning)是一個提供最新參數高效微調方法的函式庫。它只更新少量額外參數,而非全部模型參數,從而大幅降低計算與儲存成本,同時達到與完整微調相當的效能。

主要功能

  • 支援多種 PEFT 方法,包括 Quickstart 中示範的 LoRA。
  • 與 Transformers 整合,可輕鬆進行模型訓練與推論,並支援新增、載入與切換適配器。
  • 與 Diffusers 整合,可管理擴散模型中的不同適配器,降低記憶體需求。
  • 與 Accelerate 整合,支援大型模型的分散式訓練與推論。
  • 可在消費級硬體上微調大型模型;例如 LoRA 將 3B 參數模型的 GPU 記憶體從 47GB 降至 14.4GB。
  • 可與量化技術(如 QLoRA)結合,進一步降低記憶體需求。
  • 產生的適配器檢查點很小(例如 3B 模型僅 19MB),相較於完整模型檢查點(例如 11GB)。

使用情境

  • 在 GPU 記憶體有限的情況下,微調大型語言模型(如 bigscience/T0_3B、bigscience/mt0-xxl)以適應下游任務。
  • 使用 LoRA 訓練 Stable Diffusion 模型,將 GPU 記憶體從 27.5GB 降至 15.5GB(搭配梯度檢查點可降至 8.12GB)。
  • 為不同任務維護多個小型適配器,取代完整模型副本,以節省儲存空間。
  • 在基礎模型上載入 PEFT 適配器進行推論。
  • 結合 PEFT 與量化技術,在消費級硬體上微調模型(例如在 16GB GPU 上微調 Llama-2-7b)。

快速開始

從 pip 安裝 PEFT:

pip install peft

完整的使用範例(包括使用 get_peft_model 準備模型以及載入適配器進行推論)請參閱儲存庫的 README。

授權與價格

授權為 Apache-2.0。此專案為開放原始碼。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/huggingfacepeft.svg)](https://yunodb.com/tools/huggingfacepeft?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/huggingfacepeft?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/huggingfacepeft.svg" alt="Featured on YunoDB" height="20"></a>