lightly

一個專注於影像自監督學習的 Python 函式庫。

lightly 是什麼?

一個用於影像自監督學習的 Python 函式庫。屬於 AI 與影像工具類別,採用 MIT 授權。

lightly 概覽

這是什麼

LightlySSL 是一個用於影像自監督學習的 Python 函式庫,由 lightly-ai 開發。它是一個電腦視覺框架,也支援訓練潛在世界模型。該函式庫以 MIT 授權開源。另有商業版本提供 Docker 支援以及預訓練模型(用於嵌入、分類、偵測與分割),可聯繫銷售團隊取得。建構於此函式庫之上的 LightlyStudio 平台提供主動學習與資料策展工具,且可免費開始使用。

主要功能

  • 模組化框架,提供低階建構區塊如損失函數與模型頭。
  • 易於使用,風格類似 PyTorch。
  • 支援自訂主幹模型進行自監督預訓練。
  • 支援使用 PyTorch Lightning 進行分散式訓練。
  • 支援多種自監督學習模型,包括 MoCo、SimCLR、BYOL、SwaV、DINO、MAE、DINOv2 等,以及 LeWM 等世界模型。
  • 包含世界模型訓練(LeWM),可從原始幀與動作中學習,並透過想像結果來規劃。
  • 提供多種使用情境的教學與範例腳本。

使用情境

  • 對影像進行自監督學習以獲得表徵。
  • 訓練世界模型以理解場景如何對動作做出反應。
  • 透過 LightlyStudio 平台進行資料策展與主動學習。
  • 在裝置上進行深度學習,例如 ARM 微控制器。
  • 為下游任務(如分類、偵測、分割)預訓練主幹模型(商業版本)。

快速開始

Lightly 需要 Python 3.8+,建議在 Linux 或 OSX 環境中安裝。相依套件包括 PyTorch>=1.11.0、Torchvision>=0.12.0 以及 PyTorch Lightning>=1.7.1。 從 PyPI 安裝函式庫: pip3 install lightly 若要使用世界模型(LeWM),請安裝: pip install 'lightly[timm]' 完整的程式碼範例(使用 SimCLR 或其他模型)請參閱儲存庫的 README。

授權與價格

此函式庫以 MIT 授權開源。商業版本提供額外功能,可聯繫 [email protected] 取得。LightlyStudio 平台可免費開始使用。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/lightly-ailightly.svg)](https://yunodb.com/tools/lightly-ailightly?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/lightly-ailightly?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/lightly-ailightly.svg" alt="Featured on YunoDB" height="20"></a>