spark
.NET for Apache® Spark™ 讓 Apache Spark™ 易於 .NET 開發人員使用。
spark 是什麼?
.NET for Apache® Spark™ 讓 Apache Spark™ 易於 .NET 開發人員使用。
spark 概覽
這是什麼
.NET for Apache Spark 是一個開放原始碼專案,提供高效能 API,讓開發者能從 C# 和 F# 使用 Apache Spark。它目標 .NET Standard 2.0 和 2.1,執行應用程式需要相容的 .NET Worker、Apache Spark 執行環境和 Scala 橋接器。Worker 可在 Windows、Linux 和 macOS 上使用 .NET 8 執行,或在 Windows 上使用 .NET Framework。最新穩定版本是 2.4.0,移除了 Apache Spark 2.x 支援,保留 Spark 3.0 到 3.5 執行環境。2.4.0 版本也新增了 Spark 4.0.0–4.0.4 在 Windows 和 Linux 上與 .NET 8、Scala 2.13 橋接器和 JDK 17 的整合。部署指南適用於 Azure HDInsight Spark、Amazon EMR Spark 以及 AWS 和 Azure 上的 Databricks。
主要功能
- 使用 DataFrame 和 Spark SQL 處理結構化資料。
- 使用 Structured Streaming 處理串流資料。
- 支援 Apache Spark 3.0 到 3.5 以及 Spark 4.0.0–4.0.4(有限制)。
- 提供 DataFrame、Spark SQL、串流字數統計、視窗字數統計、Kafka 字數統計和 TPC-H 查詢的範例程式碼。
- 針對多個 Spark 版本在 Windows 和 Linux 上追蹤端到端測試狀態。
使用情境
.NET for Apache Spark 適用於需要 Apache Spark 擴充性,同時使用 .NET 語言的大數據處理任務。使用情境包括透過 DataFrame 和 Spark SQL 處理結構化資料、使用 Structured Streaming 處理串流資料,以及執行 TPC-H 等基準查詢。它可部署在 Azure HDInsight Spark、Amazon EMR Spark 以及 AWS 和 Azure 上的 Databricks。
快速開始
請參閱儲存庫 README 以取得 Windows、Ubuntu 和 macOS 的特定平台說明。入門範例使用 Spark 3.5.3 和 Scala 2.12。安裝 Microsoft.Spark 2.4.0 並使用匹配的 Worker 和橋接器 JAR。
授權與價格
.NET for Apache Spark 採用 MIT 授權。它是開放原始碼且免費使用。
內容整理自該專案公開的 README 與儲存庫資訊。