modin
Modin:只需更改一行程式碼即可擴展您的 Pandas 工作流程
modin 是什麼?
Modin:只需更改一行程式碼即可擴展您的 Pandas 工作流程
modin 概覽
這是什麼
Modin 是 pandas 的直接替代品。pandas 是單執行緒的,而 Modin 讓你可以立即加速工作流程,透過擴展 pandas 使其使用所有核心。Modin 在較大的資料集上特別有效,因為 pandas 在處理這些資料時會變得非常緩慢或記憶體不足。此外,Modin 還提供了額外的 API 來改善使用者體驗。
主要功能
- 直接替代 pandas:只需更改一行程式碼(import modin.pandas as pd)
- 擴展 pandas 工作流程以使用所有 CPU 核心,在配備 4 個實體核心的筆記型電腦上可提供高達 4 倍的加速
- 在 pandas 變慢或記憶體不足的大型資料集上特別有效
- 支援多種運算引擎:Ray、Dask 以及透過 unidist 的 MPI
- 自動偵測已安裝的引擎並使用它進行排程
使用情境
在 pandas 處理太慢或太大的大型資料集上擴展 pandas 工作流程。在多核心機器(包括筆記型電腦)上加速 pandas 操作。處理超出可用記憶體的資料集。
快速開始
pip install "modin[all]"
然後將 pandas 的匯入語句替換為:
import modin.pandas as pd
若使用 conda 安裝:
conda install -c conda-forge modin-all
授權與價格
Apache-2.0 授權,開放原始碼(免費)。
內容整理自該專案公開的 README 與儲存庫資訊。