SynapseML
簡單且分散式機器學習 Python 函式庫,將 ML 演算法移植至 Spark
SynapseML 是什麼?
簡單且分散式機器學習 Python 函式庫,將 ML 演算法移植至 Spark
SynapseML 概覽
這是什麼
SynapseML(原名 MMLSpark)是一個開放原始碼函式庫,旨在簡化大規模可擴展機器學習管線的建立。它建構於 Apache Spark 分散式運算框架之上,並與 SparkML/MLLib 共用相同的 API,可無縫嵌入現有的 Apache Spark 工作流程。SynapseML 提供簡單、可組合且分散式的 API,適用於文字分析、視覺、異常偵測等多種機器學習任務。它可以在單節點、多節點及可彈性調整大小的叢集上訓練與評估模型,並支援 Python、R、Scala、Java 和 .NET 等多種語言。該函式庫抽象化了多種資料庫、檔案系統和雲端資料儲存。SynapseML 發布執行時期特定的 JVM 成品:Spark 3.5 使用 Scala 2.12,而 Spark 4.0 和 4.1 使用 Scala 2.13。
主要功能
- Vowpal Wabbit on Spark:快速、稀疏且有效的文字分析。
- Cognitive Services for Big Data:在 SparkML 管線中大規模運用 Microsoft 認知服務。
- LightGBM on Spark:使用 LightGBM 訓練梯度提升機。
- Spark Serving:以次毫秒延遲將任何 Spark 運算作為網頁服務提供。
- HTTP on Spark:Spark 與 HTTP 協定的整合,用於分散式微服務編排。
- ONNX on Spark:在 Spark 上進行分散式且硬體加速的模型推論。
- Responsible AI:理解黑箱模型並衡量資料集偏差。
使用情境
SynapseML 可用於建立異常偵測、電腦視覺、深度學習、文字分析等領域的可擴展智慧系統。它適用於需要在大規模資料集上進行分散式機器學習的情境,例如訓練梯度提升機、使用 Isolation Forest 進行離群值偵測,或將 Spark 運算作為網頁服務提供。該函式庫也支援網路安全機器學習工具,以及具有條件查詢的可擴展 KNN 模型。
快速開始
請參閱儲存庫的 README 以取得安裝說明。README 提供了 Microsoft Fabric、Synapse Analytics、Databricks、Python Standalone、Spark Submit、SBT、Apache Livy 和 HDInsight、Docker、R 以及從原始碼建置的設定指南。
授權與價格
授權為 MIT。價格類型為開放原始碼。
內容整理自該專案公開的 README 與儲存庫資訊。