rl
一個模組化、原語優先、Python優先的PyTorch強化學習函式庫。
rl 是什麼?
一個模組化、原語優先、Python優先的PyTorch強化學習函式庫。
rl 概覽
這是什麼
TorchRL 是一個 PyTorch 原生的工具包,專為強化學習、決策制定、機器人技術與模擬而設計。它是一組可組合的元件集合,用於建構 RL 系統,同時保持程式碼貼近 PyTorch 的程式設計模型。該函式庫建立在三個理念之上:資料在整個訓練循環中應始終具有名稱、結構、批次維度與裝置;環境、策略、回放緩衝區、目標與收集器應為獨立模組,可在不重寫其餘堆疊的情況下互換;研究程式碼應能從本機原型擴展到向量化、多程序、分散式、編譯、遞迴、多智能體、基於模型或離線的工作流程,而無需更改資料模型。這個共同的資料模型是 TensorDict,一個類似字典的張量容器,支援 PyTorch 操作、裝置轉移、共享記憶體支援、memmap、惰性視圖與 nn.Module 包裝器。
主要功能
- TensorDict 優先的管道:RL 資料以 TensorDict 表示,在整個訓練循環中保留命名字段、批次維度與裝置。
- 環境與轉換:包含原生環境、Gymnasium、DM Control、Brax 等環境的包裝器,以及用於觀測標準化、影像轉換、獎勵轉換、動作遮罩等的環境轉換。
- 收集器與執行模型:單程序、非同步、多程序與分散式收集器,橋接策略與環境,批次處理軌跡並處理裝置。
- 回放緩衝區:儲存、取樣、優先排序與轉換軌跡資料,支援透過
replay_write_mode='trajectory'寫入完整回合。 - 損失與價值估計元件:用於 RL 訓練的可重複使用損失模組與價值估計元件。
- 機器人技術與部署:MuJoCo Menagerie 與 MicroDuck 環境、低階控制器組合,以及 TensorDict 策略匯出至 ONNX。
- 基於模型與離線 RL:TD-MPC2、Flow Q-Learning 與 Transitive RL 實作。
使用情境
TorchRL 專為強化學習、決策制定、機器人技術與模擬而設計。它支援遞迴 RL、基於 MuJoCo 的控制、多智能體訓練、回放緩衝區與收集器基礎設施,以及可重複使用的損失/價值估計元件。它可用於基於模型的 RL、離線 RL、機器人學習,以及透過向量化、多程序、分散式、編譯或離線工作流程進行大規模訓練。
快速開始
pythonimport torchfrom tensordict.nn import TensorDictModulefrom torch import nnfrom torchrl.envs import PendulumEnv, StepCounter, TransformedEnvenv = TransformedEnv(PendulumEnv(), StepCounter(max_steps=200))policy = TensorDictModule( nn.Sequential( nn.LazyLinear(64), nn.Tanh(), nn.Linear(64, 1), nn.Tanh(), ), in_keys=[observation], out_keys=[action],)rollout = env.rollout(max_steps=32, policy=policy)
授權與價格
TorchRL 是開放原始碼軟體,採用 MIT 授權條款。
內容整理自該專案公開的 README 與儲存庫資訊。