leptonai
一個 Pythonic 框架,簡化 AI 服務建置
leptonai 是什麼?
一個 Pythonic 框架,簡化 AI 服務建置。採用 Apache-2.0 授權。
leptonai 概覽
這是什麼
Lepton AI 是一套 Python 函式庫與命令列工具 (lep),用於操作 NVIDIA DGX Cloud Lepton 平台。它提供一個 Pythonic 的框架,透過程式碼與 CLI 指令簡化 AI 服務的建置與管理。
主要功能
lepCLI 工具可建立與管理端點、Dynamo 圖形部署、批次任務、開發容器、Ray 叢集、微調任務、儲存、機密資料等,並能檢視受管理的 Slurm 叢集與任務。- Pythonic 的設定規格,可直接部署至雲端。
- 技能 (Skills) 讓代理程式能操作 Lepton 平台。
- 支援透過 Teleport SSH 連線至容器、任務與 Slurm 運算節點(需
tshv18 或更新版本)。 - 認證控制包含 API 權杖、未認證存取退出選項,以及輸出中的權杖遮蔽功能。
- 透過工作區 API 經 HTTPS 建立互動式 Shell 連線,無需 SSH 金鑰、公開 IP 或 Teleport 客戶端。
使用情境
- 部署容器映像檔作為端點,並設定認證與 IP 存取控制。
- 執行批次任務與啟動互動式開發容器,用於開發與訓練。
- 檢視與管理受管理的 Slurm 叢集與任務。
- 透過 Shell 或 Teleport SSH 連線至容器、端點、任務與 Ray 叢集,進行除錯與管理。
快速開始
安裝函式庫與 lep CLI: shell pip install -U leptonai 從 main 分支安裝最新開發版本: shell pip install -U 'git+https://github.com/leptonai/leptonai.git@main' 登入工作區: shell lep login 部署容器映像檔作為端點: shell lep endpoint create -n my-endpoint --container-image my-registry/my-app:latest lep endpoint list lep endpoint status -n my-endpoint
授權與價格
本專案採用 Apache-2.0 授權,為開放原始碼。
內容整理自該專案公開的 README 與儲存庫資訊。