ai-hub-models

ai-hub-models 概覽

這是什麼

h3>Qualcomm® AI Hub Models 是一系列針對效能（延遲、記憶體等）最佳化的最新機器學習模型，已準備好部署於 Qualcomm® 裝置上。此合集包含生成式 AI、影像生成、文字生成等類別的模型。每個模型都附有裝置上的效能數據、裝置原生範例應用程式，以及用於瀏覽、下載和執行模型的命令列介面（CLI）。本專案採用 BSD-3-Clause 開放原始碼授權。 h3>

主要功能

h3>

• 針對 Qualcomm® 裝置部署最佳化的最新 ML 模型。 h3>
• 提供裝置上的效能數據，包括延遲和記憶體指標。 h3>
• 提供裝置原生範例應用程式，可在實體裝置上執行模型。 h3>
• CLI（qai-hub-models）可瀏覽目錄、下載可部署資產及執行端到端示範。 h3>
• 支援多種裝置端執行環境：Qualcomm AI Engine Direct、LiteRT (TensorFlow Lite) 和 ONNX。 h3>
• 硬體目標包括 CPU（FP32、INT16、INT8）、GPU（FP32、FP16）和 NPU（FP16、INT16、INT8），涵蓋多款 Snapdragon 和 Qualcomm 晶片組。 h3>
• 透過 AI Hub Workbench 在雲端託管的 Qualcomm® 裝置上編譯、匯出、量化及剖析模型。 h3>

使用情境

h3>

• 在 Qualcomm® 裝置上部署生成式 AI 模型（文字和影像生成）進行邊緣推論。 h3>
• 在智慧型手機、車用平台和 IoT 裝置上執行電腦視覺模型（例如物件偵測、分類）。 h3>
• 在正式部署前，於真實硬體上進行模型效能的原型設計與評估。 h3>
• 開發包含前/後處理與加速推論的原生或 Python 應用程式。 h3>

快速開始

h3> h3>請參閱儲存庫 README 以取得安裝說明與詳細用法。 h3>若要安裝輕量型 CLI 以瀏覽和下載模型： h3> shell h3>pip install qai-hub-models-cli h3> h3> 若要安裝完整套件以進行匯出、評估和執行示範： h3> shell h3>pip install qai_hub_models h3> h3> 安裝後，使用 CLI： h3> shell h3>qai-hub-models models # 瀏覽目錄 h3>qai-hub-models info mobilenet_v2 # 模型詳細資訊 h3>qai-hub-models fetch mobilenet_v2 --runtime tflite --precision float # 下載 h3> h3> 若要執行端到端示範，請安裝模型特定相依性並執行： h3> shell h3>qai-hub-models install yolov7 h3>qai-hub-models demo yolov7 h3> h3>

授權與價格

h3> h3>採用 BSD-3-Clause 授權。未說明價格；此專案標示為開放原始碼。

內容整理自該專案公開的 README 與儲存庫資訊。