weld
高效能資料分析應用執行環境
weld 是什麼?
高效能資料分析應用執行環境。高效能資料分析應用執行環境。高效能資料分析應用執行環境。
weld 概覽
這是什麼
Weld 是一個語言與執行環境,旨在提升資料密集型應用程式的效能。它透過將核心運算以共同的中間表示法表達,並跨框架進行最佳化,來最佳化不同函式庫與函式之間的協作。現代分析應用程式常結合多個函式庫的函式,導致大量資料搬移而限制效能。Weld 的解決方案是延遲建立整個工作流程的運算,只在需要結果時才進行最佳化與評估。
主要功能
- 使用共同的中間表示法表達核心運算。
- 跨不同函式庫與函式進行最佳化,減少資料搬移。
- 延遲評估:先建立整個工作流程的運算,再進行最佳化與評估。
- 提供 C API 與 Weld 互動。
- 包含 Python 綁定。
- 提供互動式 REPL 用於檢查與除錯程式。
- 與 Grizzly(Pandas 的子集)整合。
使用情境
Weld 適用於結合多個函式庫與框架函式的資料分析應用程式。它可用於最佳化複雜的工作流程,其中個別函式效能已達最佳,但整體工作流程因資料搬移而受限。使用案例包括建立向量函式庫、透過 Grizzly 與 Pandas 整合,以及任何需要延遲最佳化評估資料管線的情境。
快速開始
建置 Weld 需要最新穩定版的 Rust 與 LLVM/Clang++ 6.0。安裝這些相依套件後,執行:bashgit clone https://www.github.com/weld-project/weldcd weld/export WELD_HOME=`pwd`cargo build --release然後執行單元測試與整合測試:bashcargo test
授權與價格
Weld 採用 BSD-3-Clause 授權條款。它是開放原始碼且免費使用。
內容整理自該專案公開的 README 與儲存庫資訊。