rl

一個模組化、原語優先、Python優先的PyTorch強化學習函式庫。

rl 是什麼?

一個模組化、原語優先、Python優先的PyTorch強化學習函式庫。

rl 概覽

這是什麼

TorchRL 是一個 PyTorch 原生的工具包,專為強化學習、決策制定、機器人技術與模擬而設計。它是一組可組合的元件集合,用於建構 RL 系統,同時保持程式碼貼近 PyTorch 的程式設計模型。該函式庫建立在三個理念之上:資料在整個訓練循環中應始終具有名稱、結構、批次維度與裝置;環境、策略、回放緩衝區、目標與收集器應為獨立模組,可在不重寫其餘堆疊的情況下互換;研究程式碼應能從本機原型擴展到向量化、多程序、分散式、編譯、遞迴、多智能體、基於模型或離線的工作流程,而無需更改資料模型。這個共同的資料模型是 TensorDict,一個類似字典的張量容器,支援 PyTorch 操作、裝置轉移、共享記憶體支援、memmap、惰性視圖與 nn.Module 包裝器。

主要功能

  • TensorDict 優先的管道:RL 資料以 TensorDict 表示,在整個訓練循環中保留命名字段、批次維度與裝置。
  • 環境與轉換:包含原生環境、Gymnasium、DM Control、Brax 等環境的包裝器,以及用於觀測標準化、影像轉換、獎勵轉換、動作遮罩等的環境轉換。
  • 收集器與執行模型:單程序、非同步、多程序與分散式收集器,橋接策略與環境,批次處理軌跡並處理裝置。
  • 回放緩衝區:儲存、取樣、優先排序與轉換軌跡資料,支援透過 replay_write_mode='trajectory' 寫入完整回合。
  • 損失與價值估計元件:用於 RL 訓練的可重複使用損失模組與價值估計元件。
  • 機器人技術與部署:MuJoCo Menagerie 與 MicroDuck 環境、低階控制器組合,以及 TensorDict 策略匯出至 ONNX。
  • 基於模型與離線 RL:TD-MPC2、Flow Q-Learning 與 Transitive RL 實作。

使用情境

TorchRL 專為強化學習、決策制定、機器人技術與模擬而設計。它支援遞迴 RL、基於 MuJoCo 的控制、多智能體訓練、回放緩衝區與收集器基礎設施,以及可重複使用的損失/價值估計元件。它可用於基於模型的 RL、離線 RL、機器人學習,以及透過向量化、多程序、分散式、編譯或離線工作流程進行大規模訓練。

快速開始

pythonimport torchfrom tensordict.nn import TensorDictModulefrom torch import nnfrom torchrl.envs import PendulumEnv, StepCounter, TransformedEnvenv = TransformedEnv(PendulumEnv(), StepCounter(max_steps=200))policy = TensorDictModule( nn.Sequential( nn.LazyLinear(64), nn.Tanh(), nn.Linear(64, 1), nn.Tanh(), ), in_keys=[observation], out_keys=[action],)rollout = env.rollout(max_steps=32, policy=policy)

授權與價格

TorchRL 是開放原始碼軟體,採用 MIT 授權條款。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/pytorchrl.svg)](https://yunodb.com/tools/pytorchrl?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/pytorchrl?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/pytorchrl.svg" alt="Featured on YunoDB" height="20"></a>