sail

以 Rust 撰寫的 Apache Spark 直接替代方案,整合批次處理、串流處理與運算密集的 AI 工作負載。

sail 是什麼?

以 Rust 撰寫的 Apache Spark 直接替代方案,整合批次處理、串流處理與運算密集的 AI 工作負載。

sail 概覽

這是什麼

Sail 是一個以 Rust 撰寫、可直接取代 Apache Spark 的引擎,將批次處理、串流處理與運算密集的 AI 工作負載整合在一個分散式多模態運算引擎上。它相容於 Spark Connect 協定,支援 Spark SQL 與 DataFrame API,無需改寫程式碼。引擎完全以 Rust 原生實作,沒有 JVM 負擔,提供記憶體安全、即時啟動與可預測的效能。根據專案提供的衍生 TPC-H 基準測試,Sail 比 Spark 快約 10 倍,基礎設施成本降低 98%。此外,它在 ClickBench 上已證明效能超越 Spark、主流 Spark 加速器、Databricks 與 Snowflake。

主要功能

  • 可直接取代 Apache Spark,相容於 Spark Connect 協定(無需改寫程式碼)。
  • 100% Rust 原生引擎,無 JVM 負擔,具備記憶體安全、即時啟動與可預測效能。
  • 基於 Apache Arrow 與 Apache DataFusion 的欄位格式與向量化執行,透過 SIMD 指令實現快速查詢。
  • 極快的 Python UDF,無序列化開銷;Arrow 陣列指標實現零拷貝資料共享。
  • 高效能的資料洗牌,工作節點直接交換 Arrow 欄位資料,減少 Join 與聚合的洗牌成本。
  • 輕量無狀態的工作節點,數秒內啟動,閒置時僅消耗數 MB 記憶體,可彈性擴展以降低雲端成本。
  • 原生支援 Delta Lake 與 Apache Iceberg 表格格式,並整合多種目錄提供者,包括 Apache Iceberg REST Catalog、AWS Glue、Unity Catalog、Hive Metastore 與 Microsoft OneLake。

使用情境

Sail 適用於批次處理、串流處理與運算密集的 AI 工作負載。它可用於 ETL 管線、機器學習、分析以及任何傳統上在 Apache Spark 上執行的資料處理任務。由於相容於 Spark Connect 協定,現有的 PySpark 程式碼無需修改即可執行。

快速開始

透過 pip 安裝 Sail 與 PySpark 客戶端: bash pip install pysail pip install pyspark-client 使用命令列啟動本機 Sail 伺服器: bash sail spark server --port 50051 然後從 PySpark 連線(無需修改程式碼): python from pyspark.sql import SparkSession spark = SparkSession.builder.remote('sc://localhost:50051').getOrCreate() spark.sql('SELECT 1 + 1').show() 如需 Kubernetes 部署,請參閱儲存庫的 README。

授權與價格

Sail 採用 Apache-2.0 授權條款,為開放原始碼軟體。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/lakehqsail.svg)](https://yunodb.com/tools/lakehqsail?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/lakehqsail?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/lakehqsail.svg" alt="Featured on YunoDB" height="20"></a>