optax
Optax 是一個用於 JAX 的梯度處理與最佳化函式庫。
optax 是什麼?
Optax 是一個用於 JAX 的梯度處理與最佳化函式庫。
optax 概覽
這是什麼
Optax 是一個專為 JAX 設計的梯度處理與最佳化函式庫。它提供可自由組合的建構區塊,以促進研究。該函式庫專注於小型、可組合的元件,能有效結合成自訂解決方案。實作上優先考慮可讀性,並將程式碼結構對齊標準方程式,而非程式碼重用。Optax 最初以 jax.experimental.optix 開發,後來脫離實驗階段成為獨立的開源函式庫,並更名為 Optax。
主要功能
- 提供核心最佳化元件的簡單、經過充分測試且高效的實作。
- 能將低階元件組合成自訂最佳化器或其他梯度處理元件。
- 包含多種熱門最佳化器(如 Adam)與損失函數(如透過
optax.l2_loss的均方誤差)的實作。 - 支援輕鬆重組建構區塊以進行自訂梯度處理。
- 允許任何人貢獻新想法以加速新技術的採用。
使用情境
Optax 用於基於 JAX 的機器學習研究與開發中的梯度處理與最佳化。它適用於訓練神經網路、實作自訂最佳化器以及實驗梯度轉換。該函式庫旨在透過讓研究人員能輕鬆將低階元件組合成自訂解決方案,來提升研究生產力。
快速開始
從 PyPI 安裝最新發行版本:shpip install optax或從 GitHub 安裝最新開發版本:shpip install git+https://github.com/google-deepmind/optax.git快速使用範例:pythonoptimizer = optax.adam(learning_rate)params = {'w': jnp.ones((num_weights,))}opt_state = optimizer.init(params)compute_loss = lambda params, x, y: optax.l2_loss(params['w'].dot(x), y)grads = jax.grad(compute_loss)(params, xs, ys)updates, opt_state = optimizer.update(grads, opt_state)params = optax.apply_updates(params, updates)
授權與價格
Optax 採用 Apache-2.0 授權條款,為開源軟體。未提供價格資訊,可免費使用。
內容整理自該專案公開的 README 與儲存庫資訊。