paxml

Pax 是一個基於 Jax 的機器學習框架,用於訓練大規模模型。Pax 允許進階且完全可設定的實驗與平行化

paxml 是什麼?

Pax 是一個基於 Jax 的機器學習框架,用於訓練大規模模型。Pax 允許進階且完全可設定的實驗與平行化,並已展現業界領先的模型 FLOP 利用率。

paxml 概覽

這是什麼

Paxml(也稱為 Pax)是一個基於 Jax 的機器學習框架,專為訓練大規模模型而設計。它支援進階且完全可配置的實驗與平行化。

主要功能

  • 基於 Jax 構建,提供高效能數值計算。
  • 支援進階且完全可配置的實驗。
  • 提供大規模模型訓練的平行化能力。
  • 展現業界領先的模型 FLOPs 利用率。
  • 包含從 1B 到數兆參數的模型範例配置。
  • 支援 Cloud TPU VM,包括單主機與多切片設定。
  • 提供文件與 Jupyter Notebook 教學。

使用情境

Paxml 用於訓練大規模機器學習模型,特別是語言模型。適合在 Jax 上進行進階實驗與平行化的研究人員與工程師,尤其適用於 Cloud TPU 硬體。範例使用情境包括在 c4 資料集上訓練 1B、16B 與 GPT3-XL 模型。

快速開始

設定 Cloud TPU VM 並安裝 Paxml 的指令如下。詳細說明請參閱儲存庫 README。bashexport ZONE=us-central2-bexport VERSION=tpu-vm-v4-baseexport PROJECT=export ACCELERATOR=v4-8export TPU_NAME=paxmlgcloud compute tpus tpu-vm create $TPU_NAME --zone=$ZONE --version=$VERSION --project=$PROJECT --accelerator-type=$ACCELERATORSSH 進入 VM 後:bashpython3 -m pip install -U pippython3 -m pip install paxml jax[tpu] -f https://storage.googleapis.com/jax-releases/libtpu_releases.html

授權與價格

Paxml 採用 Apache-2.0 授權。它是開源且免費使用的。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/googlepaxml.svg)](https://yunodb.com/tools/googlepaxml?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/googlepaxml?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/googlepaxml.svg" alt="Featured on YunoDB" height="20"></a>