MNN
MNN:由阿里巴巴實戰驗證的極速輕量級推理引擎,為裝置端大型語言模型與邊緣人工智慧提供高效能支援。
MNN 是什麼?
MNN:由阿里巴巴實戰驗證的極速輕量級推理引擎,為裝置端大型語言模型與邊緣人工智慧提供高效能支援。
MNN 概覽
這是什麼
MNN 是阿里巴巴開發的高效輕量級深度學習框架,支援深度學習模型的推理與訓練,已整合至阿里巴巴旗下超過 30 個應用程式(如淘寶、天貓、優酷、釘釘、閒魚),涵蓋超過 70 種使用場景。MNN 也包含 MNN-LLM(大型語言模型執行方案)與 MNN-Diffusion(穩定擴散模型執行方案),專為在手機、PC 與 IoT 裝置上本地部署而設計。
主要功能
- 輕量:無依賴;iOS 靜態庫大小約 12 MB(armv7+arm64),Android 核心 so 約 800 KB(armv7a)。支援 FP16/INT8 量化,可減少模型大小 50%-70%。
- 多樣性:支援 TensorFlow、Caffe、ONNX、Torchscripts;涵蓋 CNN、RNN、GAN、Transformer。轉換器支援 178 個 TensorFlow OP、52 個 Caffe OP、163 個 Torchscripts OP、158 個 ONNX OP。支援 iOS 8.0+、Android 4.3+ 及 POSIX 嵌入式裝置。
- 高效能:針對 ARM/x64 CPU 的最佳化組合語言;GPU 支援 Metal、OpenCL、Vulkan、CUDA。Winograd 卷積用於對稱卷積核。ARM v8.2 FP16 半精度運算可達 2 倍加速;ARM v8.2 與 VNNI 的 sdot 可達 2.5 倍。
- 易用性:Python API 可用於推理、訓練與影像處理,無需 C++。輕量影像處理模組(約 100 KB)。支援在 PC/手機上建構與訓練模型。
使用情境
- 裝置端推理應用於直播、短影片拍攝、搜尋推薦、以圖搜圖、互動行銷、權益分發、安全風控。
- 嵌入式與 IoT 裝置。
- 在手機、PC 與 IoT 上本地部署大型語言模型(如千問、百川、LLAMA)與穩定擴散模型。
快速開始
請參閱儲存庫 README 以取得安裝與快速開始說明。
授權與價格
Apache-2.0 授權。開放原始碼。
內容整理自該專案公開的 README 與儲存庫資訊。