olake
OLake - 最快的資料庫、Kafka 與 S3 複製到 Apache Iceberg，並附帶資料表最佳化（稱為 OLake Fusion）。⚡ 高效、快速且可擴展的資料擷取
olake 是什麼？
OLake - 最快的資料庫、Kafka 與 S3 複製到 Apache Iceberg，並附帶資料表最佳化（稱為 OLake Fusion）。⚡ 高效、快速且可擴展的資料擷取，適用於即時分析。支援的來源：Postgres、MongoDB、MySQL、Oracle、MSSql、DB2、Kafka、S3。
olake 概覽
這是什麼
OLake Go 是一個開源的資料擷取引擎，用於將資料庫、S3 和 Kafka 的資料複製到 Apache Iceberg 或純 Parquet 格式。支援的來源包括 PostgreSQL、MySQL、MongoDB、Oracle、DB2、MSSQL、Kafka 和 S3。目標端支援 Iceberg（搭配 Glue、Hive、JDBC、REST 目錄）和 Parquet。它提供網頁 UI 和 CLI 來管理資料管線。
主要功能
- 智慧同步：支援全量載入與 CDC 複製，並自動探索與演進資料表結構。
- 高吞吐量：基準測試顯示 PostgreSQL 全量載入達 580,113 RPS，MySQL 全量載入達 139,773 RPS，PostgreSQL CDC 達 55,555 RPS。
- 精確一次傳遞與 Arrow 寫入，兼顧準確性與速度。
- 原生支援 Iceberg，可搭配 Glue、Hive、JDBC 和 REST 目錄。
- 可透過 Docker Compose 部署自助式 UI。
- 輕量基礎架構：無需 Spark、Flink、Kafka 或 Debezium。
使用情境
將交易型資料庫（PostgreSQL、MySQL、MongoDB、Oracle、DB2、MSSQL）複製到 Apache Iceberg，用於即時分析。從 Apache Kafka 擷取事件串流至 Iceberg。將 Amazon S3 或相容儲存服務的資料複製到 Iceberg 或 Parquet。建立無供應商鎖定的開放式資料湖倉。
快速開始
使用 Docker Compose 啟動 OLake UI 堆疊：shcurl -sSL https://raw.githubusercontent.com/datazip-inc/olake-ui/master/docker-compose.yml | docker compose -f - up -d在瀏覽器開啟 http://localhost:8000，使用預設帳號 admin 與密碼 password 登入。如需 CLI 用法，請參閱儲存庫的 README。
授權與價格
採用 Apache-2.0 授權。開源且免費。
內容整理自該專案公開的 README 與儲存庫資訊。
