zml
任何模型。任何硬體。毫不妥協。由@ziglang / @openxla / MLIR / @bazelbuild建構
zml 是什麼?
由@ziglang / @openxla / MLIR / @bazelbuild建構。任何模型,任何硬體,毫不妥協。
zml 概覽
這是什麼
ZML 是一個專為生產環境設計的推論堆疊,使用 Zig、MLIR 與 Bazel 建構。其目標是將 AI 工作負載與專有硬體解耦,讓同一套程式碼無需改寫即可在多種加速器上執行。
主要功能
- 支援 NVIDIA、AMD、Intel、Google TPU 與 AWS Trainium/Inferentia 2 等加速器。
- 直接編譯至各目標硬體,以達到最佳效能。
- 支援 Llama 3.1/3.2、Qwen 3.5 與 LFM 2.5 等模型。
- 提供統一的 LLM 命令列介面,可從 Hugging Face、本機目錄或 S3 載入模型。
- 包含 MNIST、分片(sharding)、I/O 與基準測試等範例。
使用情境
- 在不同硬體平台上執行大型語言模型(LLM)。
- 無需修改程式碼即可將 AI 推論工作負載部署至多種加速器。
- 在 CPU、GPU 或 TPU 上進行模型推論實驗。
- 衡量模型載入與執行效能。
快速開始
前置需求:安裝 Bazel(建議透過 Bazelisk 安裝)。 在 macOS 上: bash brew install bazelisk 在 Linux 上: bash curl -L -o /usr/local/bin/bazel 'https://github.com/bazelbuild/bazelisk/releases/download/v1.28.0/bazelisk-linux-amd64' chmod +x /usr/local/bin/bazel 執行 MNIST 快速測試: bash bazel run //examples/mnist 若要使用 LLM 快速入門,必要時先向 Hugging Face 進行驗證: bash bazel run //tools/hf -- auth login 然後執行提示: bash bazel run //examples/llm -- --model=hf://meta-llama/Llama-3.2-1B-Instruct --prompt='What is the capital of France?' 若要在 GPU/TPU 上執行,請附加平台旗標,例如 CUDA: bash bazel run //examples/llm --@zml//platforms:cuda=true -- --model=hf://meta-llama/Llama-3.2-1B-Instruct --prompt='Write a haiku about Zig'
授權與價格
ZML 採用 Apache 2.0 授權條款,為開放原始碼軟體。
內容整理自該專案公開的 README 與儲存庫資訊。