sail
以 Rust 撰寫的 Apache Spark 直接替代方案,整合批次處理、串流處理與運算密集的 AI 工作負載。
sail 是什麼?
以 Rust 撰寫的 Apache Spark 直接替代方案,整合批次處理、串流處理與運算密集的 AI 工作負載。
sail 概覽
這是什麼
Sail 是一個以 Rust 撰寫、可直接取代 Apache Spark 的引擎,將批次處理、串流處理與運算密集的 AI 工作負載整合在一個分散式多模態運算引擎上。它相容於 Spark Connect 協定,支援 Spark SQL 與 DataFrame API,無需改寫程式碼。引擎完全以 Rust 原生實作,沒有 JVM 負擔,提供記憶體安全、即時啟動與可預測的效能。根據專案提供的衍生 TPC-H 基準測試,Sail 比 Spark 快約 10 倍,基礎設施成本降低 98%。此外,它在 ClickBench 上已證明效能超越 Spark、主流 Spark 加速器、Databricks 與 Snowflake。
主要功能
- 可直接取代 Apache Spark,相容於 Spark Connect 協定(無需改寫程式碼)。
- 100% Rust 原生引擎,無 JVM 負擔,具備記憶體安全、即時啟動與可預測效能。
- 基於 Apache Arrow 與 Apache DataFusion 的欄位格式與向量化執行,透過 SIMD 指令實現快速查詢。
- 極快的 Python UDF,無序列化開銷;Arrow 陣列指標實現零拷貝資料共享。
- 高效能的資料洗牌,工作節點直接交換 Arrow 欄位資料,減少 Join 與聚合的洗牌成本。
- 輕量無狀態的工作節點,數秒內啟動,閒置時僅消耗數 MB 記憶體,可彈性擴展以降低雲端成本。
- 原生支援 Delta Lake 與 Apache Iceberg 表格格式,並整合多種目錄提供者,包括 Apache Iceberg REST Catalog、AWS Glue、Unity Catalog、Hive Metastore 與 Microsoft OneLake。
使用情境
Sail 適用於批次處理、串流處理與運算密集的 AI 工作負載。它可用於 ETL 管線、機器學習、分析以及任何傳統上在 Apache Spark 上執行的資料處理任務。由於相容於 Spark Connect 協定,現有的 PySpark 程式碼無需修改即可執行。
快速開始
透過 pip 安裝 Sail 與 PySpark 客戶端: bash pip install pysail pip install pyspark-client 使用命令列啟動本機 Sail 伺服器: bash sail spark server --port 50051 然後從 PySpark 連線(無需修改程式碼): python from pyspark.sql import SparkSession spark = SparkSession.builder.remote('sc://localhost:50051').getOrCreate() spark.sql('SELECT 1 + 1').show() 如需 Kubernetes 部署,請參閱儲存庫的 README。
授權與價格
Sail 採用 Apache-2.0 授權條款,為開放原始碼軟體。
內容整理自該專案公開的 README 與儲存庫資訊。