ArcticDB
ArcticDB 是一款專為 Python 資料科學生態系統打造的高效能無伺服器 DataFrame 資料庫。
ArcticDB 是什麼?
ArcticDB 是一款專為 Python 資料科學生態系統打造的高效能無伺服器 DataFrame 資料庫。
ArcticDB 概覽
這是什麼
ArcticDB 是一個高效能、無伺服器的 DataFrame 資料庫,專為 Python 資料科學生態系而設計。它於 2023 年 3 月推出,是 Arctic 的後繼產品。ArcticDB 提供直觀的 Python 中心 API,讓使用者能透過快速的 C++ 資料處理與壓縮引擎,將 Pandas DataFrame 讀寫至 S3 或 LMDB。它能處理大量行數與列數的資料,例如可將超過 400,000 種獨特證券的 20 年歷史儲存在單一 symbol 中。每個 symbol 獨立維護,無共享資料,因此 ArcticDB 可跨 symbol 水平擴展。資料庫設計具備韌性,無單點故障;持久化資料結構確保 symbol 版本寫入後不會被後續更新破壞。直接從儲存體將壓縮資料拉取至客戶端,避免伺服器過載。
主要功能
- Pandas 輸入輸出:無需離開 Python 即可將 Pandas DataFrame、NumPy 陣列及原生型別讀寫至 S3 和 LMDB。
- 專為時間序列資料設計:能有效索引與查詢數十億筆時間序列資料。
- 時間旅行:可回溯查看資料的先前版本,並建立可自訂的資料庫快照。
- 無 Schema 資料庫:無需受現有 schema 限制,即可附加、更新與修改資料。
- 針對串流資料最佳化:內建對高效稀疏資料儲存的支援。
- 強大處理能力:使用類似 Pandas 的語法即時篩選、聚合與建立新欄位。
- C++ 效率:透過 C++ 資料處理引擎的並行處理加速分析。
使用情境
ArcticDB 專為處理大型時間序列資料集而設計,例如具有長期歷史與大量證券的金融市場資料。它適用於需要高效儲存與擷取 Pandas DataFrame 的應用,特別是在資料頻繁串流或更新的情境。無 schema 的特性允許在無需預先定義 schema 的情況下靈活導入資料。
快速開始
透過 pip 或 conda 安裝 ArcticDB: bash $ pip install arcticdb 或 bash $ conda install -c conda-forge arcticdb 完整的快速入門範例請參閱儲存庫的 README。
授權與價格
ArcticDB 採用 Business Source License 1.1 (BSL) 授權。BSL 並非經認證的開放原始碼授權,但符合開放原始碼促進會 (OSI) 的大部分標準。在生產環境(包括商業或企業環境)中使用 ArcticDB,或將其用於
內容整理自該專案公開的 README 與儲存庫資訊。