connector-x

從資料庫載入資料到 DataFrame 的最快速函式庫,支援 Rust 和 Python

connector-x 是什麼?

從資料庫載入資料到 DataFrame 的最快速函式庫,支援 Rust 和 Python

connector-x 概覽

這是什麼

ConnectorX 是一個以 Rust 撰寫的函式庫,能將資料從資料庫載入 Python 的 DataFrame。它遵循零拷貝原則,設計上注重速度與記憶體效率。使用者只需一行程式碼即可透過 cx.read_sql 函式載入資料,亦可指定分割欄位進行平行處理以加速載入。ConnectorX 也支援聯合查詢,可在單一查詢中跨多個資料庫進行資料表連接。專案託管於 GitHub 的 sfu-db 組織下,文件網站位於 sfu-db.github.io/connector-x。

主要功能

  • 一行 Python 程式碼即可將資料從資料庫載入 DataFrame。
  • 支援對數值欄位(不可含 NULL)進行分割,用於 SPJA 查詢的平行資料載入。
  • 聯合查詢支援:在單一查詢中連接兩個或更多資料庫的資料表。
  • 以 Rust 撰寫,遵循零拷貝原則,最小化資料複製次數。
  • 支援多種資料來源:Postgres、MySQL、Mariadb、Sqlite、Redshift、Clickhouse、SQL Server、Azure SQL Database、Oracle、Big Query、Trino。
  • 支援多種目標格式:Pandas、PyArrow、Modin、Dask、Polars。
  • 使用多執行緒平行載入資料,每個分割區一個執行緒。

使用情境

  • 將大型資料集從資料庫高效載入 Python DataFrame,相較其他方案能減少記憶體與時間。根據 README,ConnectorX 最多可減少 3 倍記憶體與 21 倍時間;與 Pandas 相比則減少 3 倍記憶體與 13 倍時間。
  • 透過在數值欄位上分割查詢,並平行下載各分割區來加速資料載入。
  • 執行聯合查詢,在單一 SQL 陳述式中連接不同資料庫(例如 Postgres 與 MySQL)的資料表。

快速開始

透過 pip 安裝 ConnectorX: bash pip install connectorx 從 Postgres 資料庫載入資料的基本用法: python import connectorx as cx cx.read_sql('postgresql://username:password@server:port/database', 'SELECT * FROM lineitem') 使用分割進行平行載入: python cx.read_sql('postgresql://...', 'SELECT * FROM lineitem', partition_on='l_orderkey', partition_num=10) 如需從原始碼建置,請參閱儲存庫的 README。

授權與價格

本專案採用 MIT 授權條款,為開放原始碼。價格未說明,標示為開放原始碼。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/sfu-dbconnector-x.svg)](https://yunodb.com/tools/sfu-dbconnector-x?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/sfu-dbconnector-x?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/sfu-dbconnector-x.svg" alt="Featured on YunoDB" height="20"></a>