OpenAssembler

開源編譯器,將您的整個 ML 儲存庫(支援 Python、CUDA C/C++)編譯成 sass 與 cuda 二進位檔(這些由 Nvidia 封閉原始碼);比 OpenAI Triton 快 3-40%

OpenAssembler 是什麼?

開源編譯器,將您的整個 ML 儲存庫(支援 Python、CUDA C/C++)編譯成 sass 與 cuda 二進位檔(這些由 Nvidia 封閉原始碼);針對基於神經網路(主要為 LLM)的訓練/推論,比 OpenAI Triton 快 3-40%

OpenAssembler 概覽

這是什麼

OpenAssembler 是一個開源編譯器,能將 Python 模型與 GPU 核心轉譯為原生的 NVIDIA SASS 與 cubin 二進位檔。它針對 A100/SM80 架構,擁有自己的指令選擇、暫存器分配、排程與機器碼編碼器。此專案正在積極開發中,支援 Python 3.12+ 以及 Linux 與 macOS 系統。

主要功能

  • 將 Python 模型儲存庫、Python GPU 核心、CUDA C/C++/C 裝置原始碼與 PTX 編譯為 SASS 與 cubin 二進位檔
  • 支援本地、SSH 與 Modal 雲端後端進行編譯與執行
  • 包含自動模型探索功能,可推斷模型類別、輸入形狀與設定,無需 TOML 設定檔
  • 提供 torch.nn.Module 的原生模型編譯,支援線性層、softmax、GELU、LayerNorm 與注意力機制等運算
  • 提供 GEMM 生成功能,支援可測量的 tile、指標、片段與遍歷策略,以及可選的 A100 自動調校
  • 包含 SASS 模擬器與 PTX 直譯器,可進行離線語意檢查

使用情境

OpenAssembler 專為將機器學習儲存庫編譯為原生 GPU 二進位檔以進行訓練與推論而設計。可用於編譯 Python 模型與 GPU 核心、檢查生成的程式碼,以及在本地、透過 SSH 或 Modal 執行儲存的成品。此專案特別專注於神經網路工作負載,主要是基於大型語言模型的訓練與推論。

快速開始

shgit clone https://github.com/lucialuka/OpenAssembler.gitcd OpenAssemblerpython3 -m venv .venvsource .venv/bin/activatepython -m pip install -e '.[modal]'openassembler welcome或透過 Homebrew 安裝:shbrew tap lucialuka/openassembler https://github.com/lucialuka/OpenAssemblerbrew install openassemblermodal setup

授權與價格

OpenAssembler 採用 Apache-2.0 授權,為開源軟體。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/lucialukaopenassembler.svg)](https://yunodb.com/tools/lucialukaopenassembler?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/lucialukaopenassembler?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/lucialukaopenassembler.svg" alt="Featured on YunoDB" height="20"></a>