pinot
Apache Pinot:一個即時分析資料庫,支援低延遲 SQL 與向量搜尋,適用於面向使用者與代理的應用程式
pinot 是什麼?
Apache Pinot:一個即時分析資料庫,支援低延遲 SQL 與向量搜尋,適用於面向使用者與代理的應用程式
pinot 概覽
這是什麼
Apache Pinot 是一個即時分散式 OLAP 資料儲存系統,專為提供低延遲的可擴展即時分析而設計。它可以從批次資料來源(如 Hadoop HDFS、Amazon S3、Azure ADLS、Google Cloud Storage)以及串流資料來源(如 Apache Kafka)攝取資料。Pinot 也支援向量相似度搜尋,適用於語意搜尋、推薦系統和檢索增強生成(RAG)等向量資料庫使用案例。其對新鮮資料的低延遲 SQL 查詢使其非常適合面向代理的分析,包括 AI 助手和自動化決策系統。Pinot 由 LinkedIn 和 Uber 的工程師開發,設計為可無限橫向擴展。效能始終根據叢集大小和預期的每秒查詢數(QPS)閾值保持恆定。
主要功能
- 快速查詢:在數十毫秒的 P90 延遲內過濾和聚合 PB 級資料集。
- 高並發:每秒可服務數十萬個並發查詢。
- SQL 查詢介面:可透過內建查詢編輯器和 REST API 存取。
- 多樣化連接:對 PB 級資料集執行任意事實/維度和事實/事實連接。
- 列式儲存:採用列式資料庫,支援 Run Length、Fixed Bit Length 等多種壓縮方案。
- 可插拔索引:包括時間戳、反向、StarTree、Bloom 過濾器、範圍、文字、JSON 和地理空間選項。
- 串流與批次攝取:即時從 Apache Kafka、Apache Pulsar 和 AWS Kinesis 攝取。批次從 Hadoop、Spark、AWS S3 等攝取。
- 即時攝取時的 Upsert:以一致性大規模更新資料。
- 內建多租戶:在隔離的邏輯命名空間中管理和保護資料。
- 專為擴展設計:水平可擴展且容錯。
- 雲原生 Kubernetes:Helm chart 提供易於管理的水平可擴展且容錯的叢集部署。
使用情境
Pinot 專為在大量資料和事件上以低延遲執行即時 OLAP 查詢而設計。它適用於需要在不可變資料上進行快速分析(如聚合)的情境,可能伴隨即時資料攝取。Pinot 非常適合查詢具有大量維度和指標的時間序列資料。範例應用包括面向用戶的分析(如 Who Viewed Profile、Company Analytics、Talent Insights、UberEats Restaurant Manager)和面向代理的分析(如 AI 助手、自動化決策系統)。
快速開始
在 Docker 運行且至少分配 6 GB 記憶體的情況下,使用捆綁的範例資料集啟動 Pinot:bashdocker run --rm --name pinot-quickstart -p 127.0.0.1:9000:9000 apachepinot/pinot:1.6.0 QuickStart -type batch等待日誌中出現 ***** Quick start setup complete *****,然後開啟查詢主控台並執行查詢。若要停止示範,請在另一個終端機中執行 docker stop pinot-quickstart。如需串流範例和其他運行 Pinot 的方式,請參閱快速入門指南。
授權與價格
Apache Pinot 採用 Apache-2.0 授權。它是開源且免費使用的。
內容整理自該專案公開的 README 與儲存庫資訊。