delta
一個開放原始碼儲存框架,可讓您使用 Spark、PrestoDB、Flink、Trino 和 Hive 等運算引擎及 API 來建構 Lakehouse 架構。
delta 是什麼?
一個開放原始碼儲存框架,可讓您使用 Spark、PrestoDB、Flink、Trino 和 Hive 等運算引擎及 API 來建構 Lakehouse 架構。
delta 概覽
這是什麼
Delta Lake 是一個開放原始碼的儲存框架,可協助建置 Lakehouse 架構,支援 Apache Spark、PrestoDB、Flink、Trino 與 Hive 等運算引擎,並提供 Scala、Java、Rust、Ruby 與 Python 的 API。
主要功能
- 提供資料湖上的 ACID 交易,支援序列化隔離以處理並行讀寫。
- 支援 Schema 強制與演進,以因應資料結構的變化。
- 透過交易日誌實現時間旅行與版本化資料。
- 保證所有 Delta 資料表的回溯相容性;新版本永遠可以讀取舊版本寫入的資料表。
- 整合多種運算引擎:Apache Spark、PrestoDB、Flink、Trino、Apache Hive、Delta Standalone 及 Delta Rust API。
- 提供 Scala、Java、Python、Rust、Ruby 的 API,以及 Spark 中的 DataFrameReader/Writer 支援。
使用情境
Delta Lake 用於建置結合資料湖儲存與資料倉儲可靠性的 Lakehouse 架構。典型情境包含可靠的批次與串流資料導入、增量資料處理,以及在資料湖上對分析和機器學習工作負載啟用 ACID 交易。
快速開始
關於 Scala、Java 與 Python 的快速入門指南,請參閱儲存庫 README。若要從原始碼編譯 Delta Lake:build/sbt compile產生建置產物:build/sbt package
授權與價格
Delta Lake 採用 Apache License 2.0 開放原始碼授權。價格未說明。
內容整理自該專案公開的 README 與儲存庫資訊。