lightly
一個專注於影像自監督學習的 Python 函式庫。
lightly 是什麼?
一個用於影像自監督學習的 Python 函式庫。屬於 AI 與影像工具類別,採用 MIT 授權。
lightly 概覽
這是什麼
LightlySSL 是一個用於影像自監督學習的 Python 函式庫,由 lightly-ai 開發。它是一個電腦視覺框架,也支援訓練潛在世界模型。該函式庫以 MIT 授權開源。另有商業版本提供 Docker 支援以及預訓練模型(用於嵌入、分類、偵測與分割),可聯繫銷售團隊取得。建構於此函式庫之上的 LightlyStudio 平台提供主動學習與資料策展工具,且可免費開始使用。
主要功能
- 模組化框架,提供低階建構區塊如損失函數與模型頭。
- 易於使用,風格類似 PyTorch。
- 支援自訂主幹模型進行自監督預訓練。
- 支援使用 PyTorch Lightning 進行分散式訓練。
- 支援多種自監督學習模型,包括 MoCo、SimCLR、BYOL、SwaV、DINO、MAE、DINOv2 等,以及 LeWM 等世界模型。
- 包含世界模型訓練(LeWM),可從原始幀與動作中學習,並透過想像結果來規劃。
- 提供多種使用情境的教學與範例腳本。
使用情境
- 對影像進行自監督學習以獲得表徵。
- 訓練世界模型以理解場景如何對動作做出反應。
- 透過 LightlyStudio 平台進行資料策展與主動學習。
- 在裝置上進行深度學習,例如 ARM 微控制器。
- 為下游任務(如分類、偵測、分割)預訓練主幹模型(商業版本)。
快速開始
Lightly 需要 Python 3.8+,建議在 Linux 或 OSX 環境中安裝。相依套件包括 PyTorch>=1.11.0、Torchvision>=0.12.0 以及 PyTorch Lightning>=1.7.1。 從 PyPI 安裝函式庫: pip3 install lightly 若要使用世界模型(LeWM),請安裝: pip install 'lightly[timm]' 完整的程式碼範例(使用 SimCLR 或其他模型)請參閱儲存庫的 README。
授權與價格
此函式庫以 MIT 授權開源。商業版本提供額外功能,可聯繫 [email protected] 取得。LightlyStudio 平台可免費開始使用。
內容整理自該專案公開的 README 與儲存庫資訊。