paxml
Pax 是一個基於 Jax 的機器學習框架,用於訓練大規模模型。Pax 允許進階且完全可設定的實驗與平行化
paxml 是什麼?
Pax 是一個基於 Jax 的機器學習框架,用於訓練大規模模型。Pax 允許進階且完全可設定的實驗與平行化,並已展現業界領先的模型 FLOP 利用率。
paxml 概覽
這是什麼
Paxml(也稱為 Pax)是一個基於 Jax 的機器學習框架,專為訓練大規模模型而設計。它支援進階且完全可配置的實驗與平行化。
主要功能
- 基於 Jax 構建,提供高效能數值計算。
- 支援進階且完全可配置的實驗。
- 提供大規模模型訓練的平行化能力。
- 展現業界領先的模型 FLOPs 利用率。
- 包含從 1B 到數兆參數的模型範例配置。
- 支援 Cloud TPU VM,包括單主機與多切片設定。
- 提供文件與 Jupyter Notebook 教學。
使用情境
Paxml 用於訓練大規模機器學習模型,特別是語言模型。適合在 Jax 上進行進階實驗與平行化的研究人員與工程師,尤其適用於 Cloud TPU 硬體。範例使用情境包括在 c4 資料集上訓練 1B、16B 與 GPT3-XL 模型。
快速開始
設定 Cloud TPU VM 並安裝 Paxml 的指令如下。詳細說明請參閱儲存庫 README。bashexport ZONE=us-central2-bexport VERSION=tpu-vm-v4-baseexport PROJECT=export ACCELERATOR=v4-8export TPU_NAME=paxmlgcloud compute tpus tpu-vm create $TPU_NAME --zone=$ZONE --version=$VERSION --project=$PROJECT --accelerator-type=$ACCELERATORSSH 進入 VM 後:bashpython3 -m pip install -U pippython3 -m pip install paxml jax[tpu] -f https://storage.googleapis.com/jax-releases/libtpu_releases.html
授權與價格
Paxml 採用 Apache-2.0 授權。它是開源且免費使用的。
內容整理自該專案公開的 README 與儲存庫資訊。