aimet

AIMET 是一個提供進階量化與壓縮技術的函式庫,專為已訓練的神經網路模型設計。

aimet 是什麼?

AIMET 是一個提供進階量化與壓縮技術的函式庫,專為已訓練的神經網路模型設計。

aimet 概覽

這是什麼

AI Model Efficiency Toolkit (AIMET) 是一個軟體函式庫,提供針對已訓練神經網路模型的高階量化與壓縮技術。其設計目的是透過減少計算負載與記憶體佔用,來提升深度學習模型的執行效能。經 AIMET 量化的模型可部署於邊緣裝置,例如手機或筆記型電腦。AIMET 支援 ONNX 與 PyTorch 框架的模型。該工具套件採用訓練後量化與微調技術,以最小化量化與壓縮過程中的準確度損失。

主要功能

  • 訓練後量化 (PTQ):包含 Calibration、AdaRound、SeqMSE、BatchNorm Folding、Cross Layer Equalization、BatchNorm re-estimation、AdaScale、OmniQuant(僅 PyTorch)及 SpinQuant 等技術。
  • 量化感知訓練 (QAT):透過 aimet-torch 支援在訓練過程中納入量化的機制。
  • 模型壓縮:提供 Spatial SVD(張量分解)、Channel Pruning(移除冗餘輸入通道)以及逐層壓縮比選擇功能。
  • 視覺化:提供權重範圍檢查(用於 Cross Layer Equalization)與逐層壓縮敏感度回饋。
  • 支援 ONNX 與 PyTorch 框架。
  • 提供易於使用的 API,可直接整合至 PyTorch 流程中。

使用情境

對已訓練的機器學習模型進行量化與壓縮,以減少記憶體佔用並提升邊緣裝置上的推論速度。適用於將模型部署於手機、筆記型電腦及 Qualcomm Hexagon DSP。可用於電腦視覺模型(例如 MobileNet-v2、ResNet-50、DeepLab v3)、ADAS 物件偵測、語意分割以及遞迴模型(RNN、LSTM、GRU),例如 DeepSpeech2。

快速開始

aimet-onnx 與 aimet-torch 套件可從 PyPI 取得。請參閱儲存庫中的 Quick Start 指南以取得安裝說明。若要從原始碼建置,請參閱 Docker 環境中的 Build, install and run AIMET from source 指南。

授權與價格

AIMET 採用 BSD 3-clause

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/qualcommaimet.svg)](https://yunodb.com/tools/qualcommaimet?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/qualcommaimet?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/qualcommaimet.svg" alt="Featured on YunoDB" height="20"></a>