flash-linear-attention
🚀 新興模型架構的高效率實作
flash-linear-attention 是什麼?
🚀 新興模型架構的高效率實作,涵蓋多種新式模型設計。此專案提供最佳化程式碼,協助開發者加速實驗與部署。
flash-linear-attention 概覽
這是什麼
Flash Linear Attention 是一個軟體函式庫,提供硬體高效的建構區塊、可訓練的層級以及現代序列模型的元件,涵蓋線性注意力、稀疏注意力、狀態空間模型與混合式大型語言模型架構。所有實作皆與平台無關,並已在 NVIDIA、AMD 與 Intel 硬體上驗證。
主要功能
- 包含多種模型的實作,例如 RetNet、GLA、DeltaNet、Mamba2、Gated Slot Attention 等。
- 提供融合模組以提升訓練效率,包括融合線性與交叉熵層。
- 支援可變長度輸入,並提供訓練混合模型的彈性方式。
- 包含注意力機制的核心,如 FlashMoBA、FlashQLA 與 TileLang 後端支援。
- 提供序列維度上的分散式訓練的上下文並行支援。
- 包含新興架構的實作,如 Gated DeltaNet 2、Kimi Delta Attention 與 Stick-Breaking Attention。
使用情境
Flash Linear Attention 適用於從事序列建模任務的研究人員與開發者,他們需要現代注意力與狀態空間模型架構的高效實作。此函式庫可用於訓練大型語言模型、開發混合式架構,以及實驗新穎的注意力機制。在需要硬體效率的研究與生產環境中皆可使用。
快速開始
請參閱儲存庫的 README 以取得安裝與使用說明。
授權與價格
本專案採用 MIT 授權條款,並為開放原始碼。
內容整理自該專案公開的 README 與儲存庫資訊。