zml

任何模型。任何硬體。毫不妥協。由@ziglang / @openxla / MLIR / @bazelbuild建構

zml 是什麼?

由@ziglang / @openxla / MLIR / @bazelbuild建構。任何模型,任何硬體,毫不妥協。

zml 概覽

這是什麼

ZML 是一個專為生產環境設計的推論堆疊,使用 Zig、MLIR 與 Bazel 建構。其目標是將 AI 工作負載與專有硬體解耦,讓同一套程式碼無需改寫即可在多種加速器上執行。

主要功能

  • 支援 NVIDIA、AMD、Intel、Google TPU 與 AWS Trainium/Inferentia 2 等加速器。
  • 直接編譯至各目標硬體,以達到最佳效能。
  • 支援 Llama 3.1/3.2、Qwen 3.5 與 LFM 2.5 等模型。
  • 提供統一的 LLM 命令列介面,可從 Hugging Face、本機目錄或 S3 載入模型。
  • 包含 MNIST、分片(sharding)、I/O 與基準測試等範例。

使用情境

  • 在不同硬體平台上執行大型語言模型(LLM)。
  • 無需修改程式碼即可將 AI 推論工作負載部署至多種加速器。
  • 在 CPU、GPU 或 TPU 上進行模型推論實驗。
  • 衡量模型載入與執行效能。

快速開始

前置需求:安裝 Bazel(建議透過 Bazelisk 安裝)。 在 macOS 上: bash brew install bazelisk 在 Linux 上: bash curl -L -o /usr/local/bin/bazel 'https://github.com/bazelbuild/bazelisk/releases/download/v1.28.0/bazelisk-linux-amd64' chmod +x /usr/local/bin/bazel 執行 MNIST 快速測試: bash bazel run //examples/mnist 若要使用 LLM 快速入門,必要時先向 Hugging Face 進行驗證: bash bazel run //tools/hf -- auth login 然後執行提示: bash bazel run //examples/llm -- --model=hf://meta-llama/Llama-3.2-1B-Instruct --prompt='What is the capital of France?' 若要在 GPU/TPU 上執行,請附加平台旗標,例如 CUDA: bash bazel run //examples/llm --@zml//platforms:cuda=true -- --model=hf://meta-llama/Llama-3.2-1B-Instruct --prompt='Write a haiku about Zig'

授權與價格

ZML 採用 Apache 2.0 授權條款,為開放原始碼軟體。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/zmlzml.svg)](https://yunodb.com/tools/zmlzml?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/zmlzml?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/zmlzml.svg" alt="Featured on YunoDB" height="20"></a>