kuberay
一個在 Kubernetes 上執行 Ray 應用程式的工具包
kuberay 是什麼?
一個在 Kubernetes 上執行 Ray 應用程式的工具包
kuberay 概覽
這是什麼
KubeRay 是一個開放原始碼的 Kubernetes 運算子,旨在簡化在 Kubernetes 上部署與管理 Ray 應用程式的流程。它是雲端原生運算基金會(CNCF)的沙盒專案。該專案提供數個元件:KubeRay 核心包含三個自訂資源定義(RayCluster、RayJob 和 RayService),以及 KubeRay 生態系統,包含選用元件如 kubectl 外掛、API 伺服器和儀表板。
主要功能
- KubeRay 完整管理 RayCluster 的生命週期,包括叢集建立/刪除、自動擴展和容錯。
- RayJob 會自動建立 RayCluster 並在叢集就緒時提交任務;也可設定為在任務完成後自動刪除 RayCluster。
- RayService 結合 RayCluster 和 Ray Serve 部署圖,提供零停機升級和高可用性。- kubectl 外掛(Beta,自 v1.3.0 起)簡化了在 Kubernetes 上部署 Ray 的常見工作流程。
- KubeRay APIServer(Alpha)為 KubeRay 資源提供簡化的設定層。
- KubeRay 儀表板(實驗性,自 v1.4.0 起)讓使用者可以檢視和管理 KubeRay 資源。
- KubeRay 與 Kubernetes 生態系統整合,包括可觀測性工具(如 Prometheus、Grafana、py-spy)、佇列系統(如 Volcano、Apache YuniKorn、Kueue)和入口控制器(如 Nginx)。
使用情境
KubeRay 用於在 Kubernetes 上執行各種 Ray 工作負載,包括訓練、LLM 線上推論、批次推論等。它被 Workday、Klaviyo、Niantic、Samsara、Google、DoorDash、Red Hat、Instacart、Spotify、Alibaba Cloud、Apple、Microsoft、AWS、Roblox、Airbnb、eBay、Reddit、IBM、Hinge 和 Rubrik 等組織用於擴展機器學習平台、模型服務、批次推論和分散式訓練。
快速開始
請參閱儲存庫的 README 以取得 RayCluster、RayJob 和 RayService 的快速入門指南。
授權與價格
此專案採用 Apache-2.0 授權。它是開放原始碼,未說明價格。
內容整理自該專案公開的 README 與儲存庫資訊。