annotated_deep_learning_paper_implementations
🧑🏫 60+ 篇深度學習論文實作/教學,附帶並排筆記 📝;包含 transformers(原始、XL、Switch、Feedback、ViT 等)、優化器(Adam、AdaBelief、Sophia 等)、GANs(CycleGAN、StyleGAN2 等)、🎮 強化學習(PPO、DQN)、CapsNet、蒸餾等 🧠
annotated_deep_learning_paper_implementations 是什麼?
🧑🏫 60+ 篇深度學習論文實作/教學,附帶並排筆記 📝;包含 transformers(原始、XL、Switch、Feedback、ViT 等)、優化器(Adam、AdaBelief、Sophia 等)、GANs(CycleGAN、StyleGAN2 等)、🎮 強化學習(PPO、DQN)、CapsNet、蒸餾等 🧠
annotated_deep_learning_paper_implementations 概覽
這是什麼
這是一系列使用 PyTorch 實作的神經網路與相關演算法的簡單範例,並附有說明文件。網站會將這些內容以並排格式呈現為註解筆記。此儲存庫持續維護中,幾乎每週都會加入新的實作。
主要功能
- 超過 60 個深度學習論文的實作/教學,並附有並排註解。
- 涵蓋 Transformer(原始、XL、Switch、Feedback、ViT 等)、最佳化器(Adam、AdaBelief、Sophia 等)、生成對抗網路(CycleGAN、StyleGAN2 等)、強化學習(PPO、DQN)、膠囊網路、蒸餾等。
- 包含擴散模型(DDPM、DDIM、潛變擴散、穩定擴散)、圖神經網路(GAT、GATv2)以及正規化層的實作。
- 提供語言模型取樣技術(貪婪、溫度、Top-k、核取樣)。
- 支援可擴展的訓練/推論,包含 Zero3 記憶體最佳化。
使用情境
研究人員與實務工作者可透過這些實作,藉由註解程式碼來理解深度學習論文。並排的筆記有助於學習演算法。適合用於研究 Transformer、最佳化器、生成對抗網路、強化學習及其他神經網路架構。
快速開始
bashpip install labml-nn
授權與價格
授權為 MIT。此專案為開放原始碼。
內容整理自該專案公開的 README 與儲存庫資訊。