HRM-Text

HRM-Text 是一款基於 HRM 架構的 1B 文字生成模型,透過任務完成與潛在空間推理強化。

HRM-Text 是什麼?

HRM-Text 是一款基於 HRM 架構的 1B 文字生成模型,透過任務完成與潛在空間推理強化。

HRM-Text 概覽

這是什麼

HRM-Text 是一個基於 HRM(階層式遞迴)架構的 1B 參數文字生成模型,並透過任務完成與潛在空間推理強化。此儲存庫提供完整的預訓練框架,使基礎模型預訓練所需的運算量減少 130-600 倍、資料量減少 150-900 倍。它使用 PrefixLM 序列打包、FlashAttention 3 核心、PyTorch FSDP2 訓練、評估以及檢查點轉換工具。專案託管於 https://github.com/sapientinc/HRM-Text。

主要功能

  • 基於 HRM 架構的 1B 參數文字生成模型。
  • 完整的預訓練框架,運算量與資料量分別減少 130-600 倍與 150-900 倍。
  • 支援 PrefixLM 序列打包、FlashAttention 3 與 PyTorch FSDP2。
  • 包含評估腳本與檢查點轉換至 Hugging Face Transformers 格式。
  • 提供針對指令資料的微調(SFT)支援。

使用情境

  • 以有限運算資源從頭預訓練基礎文字生成模型(L 尺寸估計約 1000 美元)。
  • 在自訂指令跟隨資料上微調預訓練的 HRM-Text 檢查點。
  • 在 GSM8k、MATH、DROP、MMLU、ARC-C、HellaSwag、Winogrande 與 BoolQ 等基準上評估模型效能。

快速開始

請參閱儲存庫 README 以取得完整說明。建議使用 Docker 設定: bash docker run --gpus all --ipc=host --network=host -it -v $PWD:/workspace sapientai/hrm-text:latest 在單一 8xH100 節點上預訓練 L 尺寸: bash OMP_NUM_THREADS=1 MKL_NUM_THREADS=1 torchrun --nproc_per_node=8 pretrain.py arch/size@arch=L lr=2.5e-4 global_batch_size=172032

授權與價格

授權為 Apache-2.0。模型為開源。價格未明確說明;README 中估計雲端 GPU 成本(例如 L 尺寸約 800 美元,XL 尺寸約 1472 美元,以每 H100 小時 2 美元計算)。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/sapientinchrm-text.svg)](https://yunodb.com/tools/sapientinchrm-text?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/sapientinchrm-text?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/sapientinchrm-text.svg" alt="Featured on YunoDB" height="20"></a>