aimet
AIMET 是一個提供進階量化與壓縮技術的函式庫,專為已訓練的神經網路模型設計。
aimet 是什麼?
AIMET 是一個提供進階量化與壓縮技術的函式庫,專為已訓練的神經網路模型設計。
aimet 概覽
這是什麼
AI Model Efficiency Toolkit (AIMET) 是一個軟體函式庫,提供針對已訓練神經網路模型的高階量化與壓縮技術。其設計目的是透過減少計算負載與記憶體佔用,來提升深度學習模型的執行效能。經 AIMET 量化的模型可部署於邊緣裝置,例如手機或筆記型電腦。AIMET 支援 ONNX 與 PyTorch 框架的模型。該工具套件採用訓練後量化與微調技術,以最小化量化與壓縮過程中的準確度損失。
主要功能
- 訓練後量化 (PTQ):包含 Calibration、AdaRound、SeqMSE、BatchNorm Folding、Cross Layer Equalization、BatchNorm re-estimation、AdaScale、OmniQuant(僅 PyTorch)及 SpinQuant 等技術。
- 量化感知訓練 (QAT):透過 aimet-torch 支援在訓練過程中納入量化的機制。
- 模型壓縮:提供 Spatial SVD(張量分解)、Channel Pruning(移除冗餘輸入通道)以及逐層壓縮比選擇功能。
- 視覺化:提供權重範圍檢查(用於 Cross Layer Equalization)與逐層壓縮敏感度回饋。
- 支援 ONNX 與 PyTorch 框架。
- 提供易於使用的 API,可直接整合至 PyTorch 流程中。
使用情境
對已訓練的機器學習模型進行量化與壓縮,以減少記憶體佔用並提升邊緣裝置上的推論速度。適用於將模型部署於手機、筆記型電腦及 Qualcomm Hexagon DSP。可用於電腦視覺模型(例如 MobileNet-v2、ResNet-50、DeepLab v3)、ADAS 物件偵測、語意分割以及遞迴模型(RNN、LSTM、GRU),例如 DeepSpeech2。
快速開始
aimet-onnx 與 aimet-torch 套件可從 PyPI 取得。請參閱儲存庫中的 Quick Start 指南以取得安裝說明。若要從原始碼建置,請參閱 Docker 環境中的 Build, install and run AIMET from source 指南。
授權與價格
AIMET 採用 BSD 3-clause
內容整理自該專案公開的 README 與儲存庫資訊。