HRM-Text
HRM-Text 是一款基於 HRM 架構的 1B 文字生成模型,透過任務完成與潛在空間推理強化。
HRM-Text 是什麼?
HRM-Text 是一款基於 HRM 架構的 1B 文字生成模型,透過任務完成與潛在空間推理強化。
HRM-Text 概覽
這是什麼
HRM-Text 是一個基於 HRM(階層式遞迴)架構的 1B 參數文字生成模型,並透過任務完成與潛在空間推理強化。此儲存庫提供完整的預訓練框架,使基礎模型預訓練所需的運算量減少 130-600 倍、資料量減少 150-900 倍。它使用 PrefixLM 序列打包、FlashAttention 3 核心、PyTorch FSDP2 訓練、評估以及檢查點轉換工具。專案託管於 https://github.com/sapientinc/HRM-Text。
主要功能
- 基於 HRM 架構的 1B 參數文字生成模型。
- 完整的預訓練框架,運算量與資料量分別減少 130-600 倍與 150-900 倍。
- 支援 PrefixLM 序列打包、FlashAttention 3 與 PyTorch FSDP2。
- 包含評估腳本與檢查點轉換至 Hugging Face Transformers 格式。
- 提供針對指令資料的微調(SFT)支援。
使用情境
- 以有限運算資源從頭預訓練基礎文字生成模型(L 尺寸估計約 1000 美元)。
- 在自訂指令跟隨資料上微調預訓練的 HRM-Text 檢查點。
- 在 GSM8k、MATH、DROP、MMLU、ARC-C、HellaSwag、Winogrande 與 BoolQ 等基準上評估模型效能。
快速開始
請參閱儲存庫 README 以取得完整說明。建議使用 Docker 設定: bash docker run --gpus all --ipc=host --network=host -it -v $PWD:/workspace sapientai/hrm-text:latest 在單一 8xH100 節點上預訓練 L 尺寸: bash OMP_NUM_THREADS=1 MKL_NUM_THREADS=1 torchrun --nproc_per_node=8 pretrain.py arch/size@arch=L lr=2.5e-4 global_batch_size=172032
授權與價格
授權為 Apache-2.0。模型為開源。價格未明確說明;README 中估計雲端 GPU 成本(例如 L 尺寸約 800 美元,XL 尺寸約 1472 美元,以每 H100 小時 2 美元計算)。
內容整理自該專案公開的 README 與儲存庫資訊。