mlc-llm
搭載 ML 編譯的通用 LLM 部署引擎
mlc-llm 是什麼?
搭載 ML 編譯的通用 LLM 部署引擎,品牌名稱、網址、技術詞彙與事實意義皆保留。
mlc-llm 概覽
這是什麼
MLC LLM 是一個針對大型語言模型的機器學習編譯器與高效能部署引擎。其使命是讓每個人都能在自己的平台上原生開發、優化與部署 AI 模型。它透過 MLCEngine(一個跨平台統一的高效能 LLM 推論引擎)來編譯與執行程式碼。
主要功能
- 大型語言模型的機器學習編譯
- 高效能部署引擎
- 支援多種 GPU 後端:Vulkan、ROCm、CUDA、Metal、OpenCL
- 可在 Linux、Windows、macOS、網頁瀏覽器(WebGPU 與 WASM)、iOS/iPadOS 及 Android 上執行
- 透過 REST 伺服器、Python、JavaScript、iOS 與 Android 提供 OpenAI 相容的 API
- 所有支援平台共用統一的引擎
使用情境
- 開發與優化大型語言模型
- 在桌面、行動裝置、網頁與伺服器平台上原生部署 LLM
- 在 AMD、NVIDIA、Apple 與 Intel GPU 上執行推論
- 建置需要 OpenAI 相容 API 端點的應用程式
快速開始
請參閱儲存庫的 README 以取得安裝與快速入門說明。
授權與價格
MLC LLM 採用 Apache-2.0 授權條款,為開放原始碼軟體。
內容整理自該專案公開的 README 與儲存庫資訊。