NeatRL
可讀的單一檔案 PyTorch 深度強化學習演算法實作
NeatRL 是什麼?
可讀的單一檔案 PyTorch 深度強化學習演算法實作(保留品牌名稱 NeatRL、URL、技術術語及事實含義,未新增功能、定價、聲稱、評分或意見)
NeatRL 概覽
這是什麼
NeatRL 是一個用於強化學習演算法的 Python 函式庫。它使用 PyTorch 提供可讀性高的單一檔案深度強化學習演算法實作。該函式庫支援 Gymnasium 環境與 Atari 遊戲,並整合 Weights & Biases 進行實驗追蹤。它專為研究與實驗而設計。
主要功能
- 單一檔案實作:每個演算法都包含在一個自包含的檔案中。
- 實驗追蹤:內建支援 Weights & Biases 記錄。
- 相容 Gymnasium:可與 Gymnasium 環境搭配使用。
- Atari 支援:完整支援 Atari 遊戲,並自動使用 CNN 架構。
- 平行訓練:使用向量化環境加速資料收集。
- 易於擴展:模組化設計便於新增演算法。
- 影片錄製:自動錄製影片並整合 WandB。
使用情境
- 強化學習演算法的研究與實驗。
- 在離散動作空間環境(如 CartPole 和 FrozenLake)中訓練 RL 代理。
- 在連續控制任務(如 Pendulum 和 HalfCheetah)中訓練 RL 代理。
- 在 Atari 遊戲中訓練 RL 代理,並自動進行預處理。
- 比較不同演算法(DQN、PPO、SAC、TD3、DDPG、A2C 等)在標準基準上的表現。
快速開始
透過 pip 安裝 NeatRL: bash pip install neatrl pip install 'neatrl[cli]' # 即時終端儀表板 (rich, psutil) 可選環境擴充套件: bash pip install 'neatrl[atari]' # Atari 遊戲 (ALE) pip install 'neatrl[box2d]' # Box2D 環境 (LunarLander, BipedalWalker, …) pip install 'neatrl[classic]' # 經典控制 (CartPole, Pendulum, …) pip install 'neatrl[mujoco]' # MuJoCo 連續控制 快速開始範例:在 CartPole 上訓練 DQN python from neatrl.dqn_mlp import train_dqn model = train_dqn(env_id='CartPole-v1', total_timesteps=10000, seed=42)
授權與價格
程式碼採用 Apache License 2.0 授權。文件、圖表、基準測試結果及其他非程式碼資產採用 CC BY 4.0 授權。本專案為開放原始碼。
內容整理自該專案公開的 README 與儲存庫資訊。