kuberay

一個在 Kubernetes 上執行 Ray 應用程式的工具包

kuberay 是什麼?

一個在 Kubernetes 上執行 Ray 應用程式的工具包

kuberay 概覽

這是什麼

KubeRay 是一個開放原始碼的 Kubernetes 運算子,旨在簡化在 Kubernetes 上部署與管理 Ray 應用程式的流程。它是雲端原生運算基金會(CNCF)的沙盒專案。該專案提供數個元件:KubeRay 核心包含三個自訂資源定義(RayCluster、RayJob 和 RayService),以及 KubeRay 生態系統,包含選用元件如 kubectl 外掛、API 伺服器和儀表板。

主要功能

  • KubeRay 完整管理 RayCluster 的生命週期,包括叢集建立/刪除、自動擴展和容錯。
  • RayJob 會自動建立 RayCluster 並在叢集就緒時提交任務;也可設定為在任務完成後自動刪除 RayCluster。
  • RayService 結合 RayCluster 和 Ray Serve 部署圖,提供零停機升級和高可用性。- kubectl 外掛(Beta,自 v1.3.0 起)簡化了在 Kubernetes 上部署 Ray 的常見工作流程。
  • KubeRay APIServer(Alpha)為 KubeRay 資源提供簡化的設定層。
  • KubeRay 儀表板(實驗性,自 v1.4.0 起)讓使用者可以檢視和管理 KubeRay 資源。
  • KubeRay 與 Kubernetes 生態系統整合,包括可觀測性工具(如 Prometheus、Grafana、py-spy)、佇列系統(如 Volcano、Apache YuniKorn、Kueue)和入口控制器(如 Nginx)。

使用情境

KubeRay 用於在 Kubernetes 上執行各種 Ray 工作負載,包括訓練、LLM 線上推論、批次推論等。它被 Workday、Klaviyo、Niantic、Samsara、Google、DoorDash、Red Hat、Instacart、Spotify、Alibaba Cloud、Apple、Microsoft、AWS、Roblox、Airbnb、eBay、Reddit、IBM、Hinge 和 Rubrik 等組織用於擴展機器學習平台、模型服務、批次推論和分散式訓練。

快速開始

請參閱儲存庫的 README 以取得 RayCluster、RayJob 和 RayService 的快速入門指南。

授權與價格

此專案採用 Apache-2.0 授權。它是開放原始碼,未說明價格。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/kuberay-projectkuberay.svg)](https://yunodb.com/tools/kuberay-projectkuberay?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/kuberay-projectkuberay?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/kuberay-projectkuberay.svg" alt="Featured on YunoDB" height="20"></a>