flash-linear-attention

🚀 新興模型架構的高效率實作

flash-linear-attention 是什麼?

🚀 新興模型架構的高效率實作,涵蓋多種新式模型設計。此專案提供最佳化程式碼,協助開發者加速實驗與部署。

flash-linear-attention 概覽

這是什麼

Flash Linear Attention 是一個軟體函式庫,提供硬體高效的建構區塊、可訓練的層級以及現代序列模型的元件,涵蓋線性注意力、稀疏注意力、狀態空間模型與混合式大型語言模型架構。所有實作皆與平台無關,並已在 NVIDIA、AMD 與 Intel 硬體上驗證。

主要功能

  • 包含多種模型的實作,例如 RetNet、GLA、DeltaNet、Mamba2、Gated Slot Attention 等。
  • 提供融合模組以提升訓練效率,包括融合線性與交叉熵層。
  • 支援可變長度輸入,並提供訓練混合模型的彈性方式。
  • 包含注意力機制的核心,如 FlashMoBA、FlashQLA 與 TileLang 後端支援。
  • 提供序列維度上的分散式訓練的上下文並行支援。
  • 包含新興架構的實作,如 Gated DeltaNet 2、Kimi Delta Attention 與 Stick-Breaking Attention。

使用情境

Flash Linear Attention 適用於從事序列建模任務的研究人員與開發者,他們需要現代注意力與狀態空間模型架構的高效實作。此函式庫可用於訓練大型語言模型、開發混合式架構,以及實驗新穎的注意力機制。在需要硬體效率的研究與生產環境中皆可使用。

快速開始

請參閱儲存庫的 README 以取得安裝與使用說明。

授權與價格

本專案採用 MIT 授權條款,並為開放原始碼。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/fla-orgflash-linear-attention.svg)](https://yunodb.com/tools/fla-orgflash-linear-attention?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/fla-orgflash-linear-attention?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/fla-orgflash-linear-attention.svg" alt="Featured on YunoDB" height="20"></a>