torchax
torchax 是 JAX 的 PyTorch 前端。它讓 JAX 能夠使用熟悉的 PyTorch 語法編寫 JAX 程式。它也提供 JAX-PyTorch 的互通性。
torchax 是什麼?
torchax 是 JAX 的 PyTorch 前端。它讓 JAX 能夠使用熟悉的 PyTorch 語法編寫 JAX 程式。它也提供 JAX-PyTorch 的互通性,也就是說,可以在編寫機器學習程式時混合使用 JAX 與 PyTorch 語法,並在 JAX 能執行的任何硬體上執行。
torchax 概覽
這是什麼
torchax 是 JAX 的 PyTorch 前端。它讓 JAX 能夠使用熟悉的 PyTorch 語法來撰寫 JAX 程式。它也提供 JAX 與 PyTorch 的互通性,也就是說,在撰寫機器學習程式時可以混合使用 JAX 與 PyTorch 語法,並在 JAX 能執行的所有硬體上執行。
主要功能
- 以最少的程式碼變更在 TPU 上執行 PyTorch 程式碼。
- 從 PyTorch 呼叫 JAX 函式,並傳入
jax.Array。 - 從 JAX 呼叫 PyTorch 函式,並傳入
torch.Tensor。 - 使用 JAX 功能如
jax.grad、optax和GSPMD來訓練 PyTorch 模型。 - 將 PyTorch 模型作為特徵提取器與 JAX 模型一起使用。
- 使用
torchax.save_checkpoint和torchax.load_checkpoint儲存與載入訓練狀態。
使用情境
- 在 Google Cloud TPU 上執行 PyTorch 程式。
- 在同一個機器學習程式中混合使用 JAX 與 PyTorch 程式碼。
- 使用 JAX 編譯 (
jax.jit) 來加速 PyTorch 模型。 - 使用 JAX 最佳化器(如
optax)訓練 PyTorch 模型。 - 在 JAX 流程中將 PyTorch 模型用作特徵提取器。
快速開始
首先,安裝 PyTorch 的 CPU 版本: bash # 在 Linux 上 pip install torch --index-url https://download.pytorch.org/whl/cpu # 在 Mac 上 pip install torch 接著,為您的加速器安裝 JAX: bash # 在 Google Cloud TPU 上 pip install -U jax[tpu] # 在 GPU 機器上 pip install -U jax[cuda12] # 在 Linux CPU 機器或 Mac 上 pip install -U jax 最後,安裝 torchax: bash pip install torchax # 或從原始碼安裝 pip install git+https://github.com/google/torchax
授權與價格
授權為 Apache-2.0。此專案為開源軟體。
內容整理自該專案公開的 README 與儲存庫資訊。