MNN

MNN:由阿里巴巴實戰驗證的極速輕量級推理引擎,為裝置端大型語言模型與邊緣人工智慧提供高效能支援。

MNN 是什麼?

MNN:由阿里巴巴實戰驗證的極速輕量級推理引擎,為裝置端大型語言模型與邊緣人工智慧提供高效能支援。

MNN 概覽

這是什麼

MNN 是阿里巴巴開發的高效輕量級深度學習框架,支援深度學習模型的推理與訓練,已整合至阿里巴巴旗下超過 30 個應用程式(如淘寶、天貓、優酷、釘釘、閒魚),涵蓋超過 70 種使用場景。MNN 也包含 MNN-LLM(大型語言模型執行方案)與 MNN-Diffusion(穩定擴散模型執行方案),專為在手機、PC 與 IoT 裝置上本地部署而設計。

主要功能

  • 輕量:無依賴;iOS 靜態庫大小約 12 MB(armv7+arm64),Android 核心 so 約 800 KB(armv7a)。支援 FP16/INT8 量化,可減少模型大小 50%-70%。
  • 多樣性:支援 TensorFlow、Caffe、ONNX、Torchscripts;涵蓋 CNN、RNN、GAN、Transformer。轉換器支援 178 個 TensorFlow OP、52 個 Caffe OP、163 個 Torchscripts OP、158 個 ONNX OP。支援 iOS 8.0+、Android 4.3+ 及 POSIX 嵌入式裝置。
  • 高效能:針對 ARM/x64 CPU 的最佳化組合語言;GPU 支援 Metal、OpenCL、Vulkan、CUDA。Winograd 卷積用於對稱卷積核。ARM v8.2 FP16 半精度運算可達 2 倍加速;ARM v8.2 與 VNNI 的 sdot 可達 2.5 倍。
  • 易用性:Python API 可用於推理、訓練與影像處理,無需 C++。輕量影像處理模組(約 100 KB)。支援在 PC/手機上建構與訓練模型。

使用情境

  • 裝置端推理應用於直播、短影片拍攝、搜尋推薦、以圖搜圖、互動行銷、權益分發、安全風控。
  • 嵌入式與 IoT 裝置。
  • 在手機、PC 與 IoT 上本地部署大型語言模型(如千問、百川、LLAMA)與穩定擴散模型。

快速開始

請參閱儲存庫 README 以取得安裝與快速開始說明。

授權與價格

Apache-2.0 授權。開放原始碼。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/alibabamnn.svg)](https://yunodb.com/tools/alibabamnn?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/alibabamnn?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/alibabamnn.svg" alt="Featured on YunoDB" height="20"></a>