OpenAssembler
開源編譯器,將您的整個 ML 儲存庫(支援 Python、CUDA C/C++)編譯成 sass 與 cuda 二進位檔(這些由 Nvidia 封閉原始碼);比 OpenAI Triton 快 3-40%
OpenAssembler 是什麼?
開源編譯器,將您的整個 ML 儲存庫(支援 Python、CUDA C/C++)編譯成 sass 與 cuda 二進位檔(這些由 Nvidia 封閉原始碼);針對基於神經網路(主要為 LLM)的訓練/推論,比 OpenAI Triton 快 3-40%
OpenAssembler 概覽
這是什麼
OpenAssembler 是一個開源編譯器,能將 Python 模型與 GPU 核心轉譯為原生的 NVIDIA SASS 與 cubin 二進位檔。它針對 A100/SM80 架構,擁有自己的指令選擇、暫存器分配、排程與機器碼編碼器。此專案正在積極開發中,支援 Python 3.12+ 以及 Linux 與 macOS 系統。
主要功能
- 將 Python 模型儲存庫、Python GPU 核心、CUDA C/C++/C 裝置原始碼與 PTX 編譯為 SASS 與 cubin 二進位檔
- 支援本地、SSH 與 Modal 雲端後端進行編譯與執行
- 包含自動模型探索功能,可推斷模型類別、輸入形狀與設定,無需 TOML 設定檔
- 提供 torch.nn.Module 的原生模型編譯,支援線性層、softmax、GELU、LayerNorm 與注意力機制等運算
- 提供 GEMM 生成功能,支援可測量的 tile、指標、片段與遍歷策略,以及可選的 A100 自動調校
- 包含 SASS 模擬器與 PTX 直譯器,可進行離線語意檢查
使用情境
OpenAssembler 專為將機器學習儲存庫編譯為原生 GPU 二進位檔以進行訓練與推論而設計。可用於編譯 Python 模型與 GPU 核心、檢查生成的程式碼,以及在本地、透過 SSH 或 Modal 執行儲存的成品。此專案特別專注於神經網路工作負載,主要是基於大型語言模型的訓練與推論。
快速開始
shgit clone https://github.com/lucialuka/OpenAssembler.gitcd OpenAssemblerpython3 -m venv .venvsource .venv/bin/activatepython -m pip install -e '.[modal]'openassembler welcome或透過 Homebrew 安裝:shbrew tap lucialuka/openassembler https://github.com/lucialuka/OpenAssemblerbrew install openassemblermodal setup
授權與價格
OpenAssembler 採用 Apache-2.0 授權,為開源軟體。
內容整理自該專案公開的 README 與儲存庫資訊。