connector-x
從資料庫載入資料到 DataFrame 的最快速函式庫,支援 Rust 和 Python
connector-x 是什麼?
從資料庫載入資料到 DataFrame 的最快速函式庫,支援 Rust 和 Python
connector-x 概覽
這是什麼
ConnectorX 是一個以 Rust 撰寫的函式庫,能將資料從資料庫載入 Python 的 DataFrame。它遵循零拷貝原則,設計上注重速度與記憶體效率。使用者只需一行程式碼即可透過 cx.read_sql 函式載入資料,亦可指定分割欄位進行平行處理以加速載入。ConnectorX 也支援聯合查詢,可在單一查詢中跨多個資料庫進行資料表連接。專案託管於 GitHub 的 sfu-db 組織下,文件網站位於 sfu-db.github.io/connector-x。
主要功能
- 一行 Python 程式碼即可將資料從資料庫載入 DataFrame。
- 支援對數值欄位(不可含 NULL)進行分割,用於 SPJA 查詢的平行資料載入。
- 聯合查詢支援:在單一查詢中連接兩個或更多資料庫的資料表。
- 以 Rust 撰寫,遵循零拷貝原則,最小化資料複製次數。
- 支援多種資料來源:Postgres、MySQL、Mariadb、Sqlite、Redshift、Clickhouse、SQL Server、Azure SQL Database、Oracle、Big Query、Trino。
- 支援多種目標格式:Pandas、PyArrow、Modin、Dask、Polars。
- 使用多執行緒平行載入資料,每個分割區一個執行緒。
使用情境
- 將大型資料集從資料庫高效載入 Python DataFrame,相較其他方案能減少記憶體與時間。根據 README,ConnectorX 最多可減少 3 倍記憶體與 21 倍時間;與 Pandas 相比則減少 3 倍記憶體與 13 倍時間。
- 透過在數值欄位上分割查詢,並平行下載各分割區來加速資料載入。
- 執行聯合查詢,在單一 SQL 陳述式中連接不同資料庫(例如 Postgres 與 MySQL)的資料表。
快速開始
透過 pip 安裝 ConnectorX: bash pip install connectorx 從 Postgres 資料庫載入資料的基本用法: python import connectorx as cx cx.read_sql('postgresql://username:password@server:port/database', 'SELECT * FROM lineitem') 使用分割進行平行載入: python cx.read_sql('postgresql://...', 'SELECT * FROM lineitem', partition_on='l_orderkey', partition_num=10) 如需從原始碼建置,請參閱儲存庫的 README。
授權與價格
本專案採用 MIT 授權條款,為開放原始碼。價格未說明,標示為開放原始碼。
內容整理自該專案公開的 README 與儲存庫資訊。