mlc-llm

搭載 ML 編譯的通用 LLM 部署引擎

mlc-llm 是什麼?

搭載 ML 編譯的通用 LLM 部署引擎,品牌名稱、網址、技術詞彙與事實意義皆保留。

mlc-llm 概覽

這是什麼

MLC LLM 是一個針對大型語言模型的機器學習編譯器與高效能部署引擎。其使命是讓每個人都能在自己的平台上原生開發、優化與部署 AI 模型。它透過 MLCEngine(一個跨平台統一的高效能 LLM 推論引擎)來編譯與執行程式碼。

主要功能

  • 大型語言模型的機器學習編譯
  • 高效能部署引擎
  • 支援多種 GPU 後端:Vulkan、ROCm、CUDA、Metal、OpenCL
  • 可在 Linux、Windows、macOS、網頁瀏覽器(WebGPU 與 WASM)、iOS/iPadOS 及 Android 上執行
  • 透過 REST 伺服器、Python、JavaScript、iOS 與 Android 提供 OpenAI 相容的 API
  • 所有支援平台共用統一的引擎

使用情境

  • 開發與優化大型語言模型
  • 在桌面、行動裝置、網頁與伺服器平台上原生部署 LLM
  • 在 AMD、NVIDIA、Apple 與 Intel GPU 上執行推論
  • 建置需要 OpenAI 相容 API 端點的應用程式

快速開始

請參閱儲存庫的 README 以取得安裝與快速入門說明。

授權與價格

MLC LLM 採用 Apache-2.0 授權條款,為開放原始碼軟體。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/mlc-aimlc-llm.svg)](https://yunodb.com/tools/mlc-aimlc-llm?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/mlc-aimlc-llm?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/mlc-aimlc-llm.svg" alt="Featured on YunoDB" height="20"></a>