SynapseML

簡單且分散式機器學習 Python 函式庫,將 ML 演算法移植至 Spark

SynapseML 是什麼?

簡單且分散式機器學習 Python 函式庫,將 ML 演算法移植至 Spark

SynapseML 概覽

這是什麼

SynapseML(原名 MMLSpark)是一個開放原始碼函式庫,旨在簡化大規模可擴展機器學習管線的建立。它建構於 Apache Spark 分散式運算框架之上,並與 SparkML/MLLib 共用相同的 API,可無縫嵌入現有的 Apache Spark 工作流程。SynapseML 提供簡單、可組合且分散式的 API,適用於文字分析、視覺、異常偵測等多種機器學習任務。它可以在單節點、多節點及可彈性調整大小的叢集上訓練與評估模型,並支援 Python、R、Scala、Java 和 .NET 等多種語言。該函式庫抽象化了多種資料庫、檔案系統和雲端資料儲存。SynapseML 發布執行時期特定的 JVM 成品:Spark 3.5 使用 Scala 2.12,而 Spark 4.0 和 4.1 使用 Scala 2.13。

主要功能

  • Vowpal Wabbit on Spark:快速、稀疏且有效的文字分析。
  • Cognitive Services for Big Data:在 SparkML 管線中大規模運用 Microsoft 認知服務。
  • LightGBM on Spark:使用 LightGBM 訓練梯度提升機。
  • Spark Serving:以次毫秒延遲將任何 Spark 運算作為網頁服務提供。
  • HTTP on Spark:Spark 與 HTTP 協定的整合,用於分散式微服務編排。
  • ONNX on Spark:在 Spark 上進行分散式且硬體加速的模型推論。
  • Responsible AI:理解黑箱模型並衡量資料集偏差。

使用情境

SynapseML 可用於建立異常偵測、電腦視覺、深度學習、文字分析等領域的可擴展智慧系統。它適用於需要在大規模資料集上進行分散式機器學習的情境,例如訓練梯度提升機、使用 Isolation Forest 進行離群值偵測,或將 Spark 運算作為網頁服務提供。該函式庫也支援網路安全機器學習工具,以及具有條件查詢的可擴展 KNN 模型。

快速開始

請參閱儲存庫的 README 以取得安裝說明。README 提供了 Microsoft Fabric、Synapse Analytics、Databricks、Python Standalone、Spark Submit、SBT、Apache Livy 和 HDInsight、Docker、R 以及從原始碼建置的設定指南。

授權與價格

授權為 MIT。價格類型為開放原始碼。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/microsoftsynapseml.svg)](https://yunodb.com/tools/microsoftsynapseml?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/microsoftsynapseml?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/microsoftsynapseml.svg" alt="Featured on YunoDB" height="20"></a>