bitsandbytes

透過 PyTorch 的 k-bit 量化技術,讓大型語言模型更易於使用。

bitsandbytes 是什麼?

透過 PyTorch 的 k-bit 量化技術,讓大型語言模型更易於使用。

bitsandbytes 概覽

這是什麼

bitsandbytes 是一個透過 k-bit 量化技術,讓 PyTorch 上的大型語言模型更容易使用的函式庫。它提供工具來大幅減少大型語言模型在推論和訓練時的記憶體消耗。

主要功能

  • 8-bit 最佳化器使用區塊式量化,以極少的記憶體成本維持 32-bit 的效能。
  • LLM.int8()(8-bit 量化)讓大型語言模型推論僅需一半的記憶體,且不影響效能,採用向量式量化並分別處理離群值。
  • QLoRA(4-bit 量化)透過將模型量化至 4-bit,並插入一組可訓練的低秩適應(LoRA)權重,實現大型語言模型的訓練。
  • 透過 bitsandbytes.nn.Linear8bitLt 和 bitsandbytes.nn.Linear4bit 提供 8-bit 與 4-bit 運算的量化基礎元件。
  • 透過 bitsandbytes.optim 模組提供 8-bit 最佳化器。

使用情境

  • 減少大型語言模型推論時的記憶體消耗。
  • 減少大型語言模型訓練時的記憶體消耗。
  • 在消費級硬體上進行大型語言模型訓練。
  • 在有限的 GPU 記憶體下微調大型語言模型。

快速開始

請參閱儲存庫的 README 以取得安裝說明和系統需求。

授權與價格

bitsandbytes 採用 MIT 授權。它是開源且免費使用的。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/bitsandbytes-foundationbitsandbytes.svg)](https://yunodb.com/tools/bitsandbytes-foundationbitsandbytes?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/bitsandbytes-foundationbitsandbytes?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/bitsandbytes-foundationbitsandbytes.svg" alt="Featured on YunoDB" height="20"></a>