bitsandbytes
透過 PyTorch 的 k-bit 量化技術,讓大型語言模型更易於使用。
bitsandbytes 是什麼?
透過 PyTorch 的 k-bit 量化技術,讓大型語言模型更易於使用。
bitsandbytes 概覽
這是什麼
bitsandbytes 是一個透過 k-bit 量化技術,讓 PyTorch 上的大型語言模型更容易使用的函式庫。它提供工具來大幅減少大型語言模型在推論和訓練時的記憶體消耗。
主要功能
- 8-bit 最佳化器使用區塊式量化,以極少的記憶體成本維持 32-bit 的效能。
- LLM.int8()(8-bit 量化)讓大型語言模型推論僅需一半的記憶體,且不影響效能,採用向量式量化並分別處理離群值。
- QLoRA(4-bit 量化)透過將模型量化至 4-bit,並插入一組可訓練的低秩適應(LoRA)權重,實現大型語言模型的訓練。
- 透過
bitsandbytes.nn.Linear8bitLt和bitsandbytes.nn.Linear4bit提供 8-bit 與 4-bit 運算的量化基礎元件。 - 透過
bitsandbytes.optim模組提供 8-bit 最佳化器。
使用情境
- 減少大型語言模型推論時的記憶體消耗。
- 減少大型語言模型訓練時的記憶體消耗。
- 在消費級硬體上進行大型語言模型訓練。
- 在有限的 GPU 記憶體下微調大型語言模型。
快速開始
請參閱儲存庫的 README 以取得安裝說明和系統需求。
授權與價格
bitsandbytes 採用 MIT 授權。它是開源且免費使用的。
內容整理自該專案公開的 README 與儲存庫資訊。