leptonai

一個 Pythonic 框架,簡化 AI 服務建置

leptonai 是什麼?

一個 Pythonic 框架,簡化 AI 服務建置。採用 Apache-2.0 授權。

leptonai 概覽

這是什麼

Lepton AI 是一套 Python 函式庫與命令列工具 (lep),用於操作 NVIDIA DGX Cloud Lepton 平台。它提供一個 Pythonic 的框架,透過程式碼與 CLI 指令簡化 AI 服務的建置與管理。

主要功能

  • lep CLI 工具可建立與管理端點、Dynamo 圖形部署、批次任務、開發容器、Ray 叢集、微調任務、儲存、機密資料等,並能檢視受管理的 Slurm 叢集與任務。
  • Pythonic 的設定規格,可直接部署至雲端。
  • 技能 (Skills) 讓代理程式能操作 Lepton 平台。
  • 支援透過 Teleport SSH 連線至容器、任務與 Slurm 運算節點(需 tsh v18 或更新版本)。
  • 認證控制包含 API 權杖、未認證存取退出選項,以及輸出中的權杖遮蔽功能。
  • 透過工作區 API 經 HTTPS 建立互動式 Shell 連線,無需 SSH 金鑰、公開 IP 或 Teleport 客戶端。

使用情境

  • 部署容器映像檔作為端點,並設定認證與 IP 存取控制。
  • 執行批次任務與啟動互動式開發容器,用於開發與訓練。
  • 檢視與管理受管理的 Slurm 叢集與任務。
  • 透過 Shell 或 Teleport SSH 連線至容器、端點、任務與 Ray 叢集,進行除錯與管理。

快速開始

安裝函式庫與 lep CLI: shell pip install -U leptonai 從 main 分支安裝最新開發版本: shell pip install -U 'git+https://github.com/leptonai/leptonai.git@main' 登入工作區: shell lep login 部署容器映像檔作為端點: shell lep endpoint create -n my-endpoint --container-image my-registry/my-app:latest lep endpoint list lep endpoint status -n my-endpoint

授權與價格

本專案採用 Apache-2.0 授權,為開放原始碼。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/leptonaileptonai.svg)](https://yunodb.com/tools/leptonaileptonai?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/leptonaileptonai?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/leptonaileptonai.svg" alt="Featured on YunoDB" height="20"></a>