iree
一個可重新定位的、基於MLIR的機器學習編譯器與執行時期工具組。
iree 是什麼?
一個可重新定位的、基於MLIR的機器學習編譯器與執行時期工具組。
iree 概覽
這是什麼
IREE(Intermediate Representation Execution Environment,發音為「eerie」)是一個基於 MLIR 的端到端編譯器與執行時期工具組。它能將機器學習模型降階(lower)為統一中間表示(IR),可從資料中心規模擴展至行動裝置與邊緣裝置。該專案目前以沙盒階段專案形式加入 LF AI & Data 基金會。
主要功能
- 可重新定位(retargetable)的 MLIR 編譯器與執行時期工具組 - 端到端的機器學習模型編譯與執行 - 將模型降階為統一中間表示(IR) - 可擴展以滿足資料中心需求及行動/邊緣裝置的限制 - 透過硬體抽象層(HAL)支援多種硬體目標 - 以 Apache 2.0 授權條款(含 LLVM 例外)開放原始碼
使用情境
IREE 專為在多樣化硬體上部署機器學習模型而設計,從大型資料中心伺服器到資源受限的行動與邊緣裝置皆可適用。該專案已被用於基準測試提交,例如 AMD 基於 IREE 的 SDXL 實作以參與 MLPerf。此編譯器與執行時期適合需要高效能與可攜性的生產級推論工作負載。
快速開始
關於安裝說明、從原始碼建置及使用者指南,請參閱儲存庫的 README 及專案網站 https://iree.dev。
授權與價格
IREE 為開放原始碼且免費使用。採用 Apache 2.0 授權條款(含 LLVM 例外)。
內容整理自該專案公開的 README 與儲存庫資訊。