spark

.NET for Apache® Spark™ 讓 Apache Spark™ 易於 .NET 開發人員使用。

spark 是什麼?

.NET for Apache® Spark™ 讓 Apache Spark™ 易於 .NET 開發人員使用。

spark 概覽

這是什麼

.NET for Apache Spark 是一個開放原始碼專案,提供高效能 API,讓開發者能從 C# 和 F# 使用 Apache Spark。它目標 .NET Standard 2.0 和 2.1,執行應用程式需要相容的 .NET Worker、Apache Spark 執行環境和 Scala 橋接器。Worker 可在 Windows、Linux 和 macOS 上使用 .NET 8 執行,或在 Windows 上使用 .NET Framework。最新穩定版本是 2.4.0,移除了 Apache Spark 2.x 支援,保留 Spark 3.0 到 3.5 執行環境。2.4.0 版本也新增了 Spark 4.0.0–4.0.4 在 Windows 和 Linux 上與 .NET 8、Scala 2.13 橋接器和 JDK 17 的整合。部署指南適用於 Azure HDInsight Spark、Amazon EMR Spark 以及 AWS 和 Azure 上的 Databricks。

主要功能

  • 使用 DataFrame 和 Spark SQL 處理結構化資料。
  • 使用 Structured Streaming 處理串流資料。
  • 支援 Apache Spark 3.0 到 3.5 以及 Spark 4.0.0–4.0.4(有限制)。
  • 提供 DataFrame、Spark SQL、串流字數統計、視窗字數統計、Kafka 字數統計和 TPC-H 查詢的範例程式碼。
  • 針對多個 Spark 版本在 Windows 和 Linux 上追蹤端到端測試狀態。

使用情境

.NET for Apache Spark 適用於需要 Apache Spark 擴充性,同時使用 .NET 語言的大數據處理任務。使用情境包括透過 DataFrame 和 Spark SQL 處理結構化資料、使用 Structured Streaming 處理串流資料,以及執行 TPC-H 等基準查詢。它可部署在 Azure HDInsight Spark、Amazon EMR Spark 以及 AWS 和 Azure 上的 Databricks。

快速開始

請參閱儲存庫 README 以取得 Windows、Ubuntu 和 macOS 的特定平台說明。入門範例使用 Spark 3.5.3 和 Scala 2.12。安裝 Microsoft.Spark 2.4.0 並使用匹配的 Worker 和橋接器 JAR。

授權與價格

.NET for Apache Spark 採用 MIT 授權。它是開放原始碼且免費使用。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/dotnetspark.svg)](https://yunodb.com/tools/dotnetspark?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/dotnetspark?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/dotnetspark.svg" alt="Featured on YunoDB" height="20"></a>