NextTransformer
:sunrise: 一個全面、尖端的開源框架,專為次世代 Transformer/LLM 設計,具備計算匹配基準測試與自主架構研究平台。
NextTransformer 是什麼?
:sunrise: 一個全面、尖端的開源框架,專為次世代 Transformer/LLM 設計,具備計算匹配基準測試與自主架構研究平台。
NextTransformer 概覽
這是什麼
NextTransformer 是一個開源框架,專為下一代 Transformer 架構設計,提供計算量匹配的基準測試與自主架構研究平台。該框架在相同資料、相同 49.152B tokens、相同理論訓練 FLOPs 下訓練各種架構,並在相同檢查點進行評估。內含觀測站,展示學習曲線、排行榜、任務、架構圖與模型卡。
主要功能
- 計算量匹配基準測試:所有方法在相同預算(49.152B tokens、4.672 GFLOPs/token)下訓練,並於相同檢查點評估。
- 模型動物園:包含密集基線、殘差、遞迴、稀疏、線性、混合及注意力變體等系列。
- 自動研究競技場:允許任何 LLM 依相同協議提出並訓練架構,Arena v2 預計於 2026 年 11 月 14 日推出。
- 以 MIT 授權開源,截至 2026 年 10 月 31 日已有 31 次完成運行與 36 張模型卡。
- 社群專案:NextTransformer-V(多模態)與 ResearchBoost-Agent(訓練最佳化)。
使用情境
- 以公平比較方式研究下一代 Transformer 架構。
- 對新注意力機制、遞迴深度、稀疏與線性注意力及混合模型進行基準測試。
- 透過競技場進行自主架構搜尋。
- 社群貢獻與擴展,用於多模態及最佳化研究。
快速開始
在 Linux 上使用 NVIDIA GPU 並以 uv 安裝:
git clone https://github.com/Interactive-Active-AI/NextTransformer.git && cd NextTransformer
uv sync --frozen --extra gpu --extra upstream && source .venv/bin/activate
uv pip install --no-deps --require-hashes -r requirements/linear.txt
準備資料(ClimbMix 約 600 GB)並在單節點 8 GPU 上訓練:
launch/train.sh --config configs/baseline/dense_full.json --site-config site.local.json \
--output runs/dense_full --micro-batch 8 --formal --resume auto
多節點訓練與評估細節請參閱儲存庫 README。
授權與價格
採用 MIT 授權。開源,未提及價格資訊。
內容整理自該專案公開的 README 與儲存庫資訊。