pinot

Apache Pinot:一個即時分析資料庫,支援低延遲 SQL 與向量搜尋,適用於面向使用者與代理的應用程式

pinot 是什麼?

Apache Pinot:一個即時分析資料庫,支援低延遲 SQL 與向量搜尋,適用於面向使用者與代理的應用程式

pinot 概覽

這是什麼

Apache Pinot 是一個即時分散式 OLAP 資料儲存系統,專為提供低延遲的可擴展即時分析而設計。它可以從批次資料來源(如 Hadoop HDFS、Amazon S3、Azure ADLS、Google Cloud Storage)以及串流資料來源(如 Apache Kafka)攝取資料。Pinot 也支援向量相似度搜尋,適用於語意搜尋、推薦系統和檢索增強生成(RAG)等向量資料庫使用案例。其對新鮮資料的低延遲 SQL 查詢使其非常適合面向代理的分析,包括 AI 助手和自動化決策系統。Pinot 由 LinkedIn 和 Uber 的工程師開發,設計為可無限橫向擴展。效能始終根據叢集大小和預期的每秒查詢數(QPS)閾值保持恆定。

主要功能

  • 快速查詢:在數十毫秒的 P90 延遲內過濾和聚合 PB 級資料集。
  • 高並發:每秒可服務數十萬個並發查詢。
  • SQL 查詢介面:可透過內建查詢編輯器和 REST API 存取。
  • 多樣化連接:對 PB 級資料集執行任意事實/維度和事實/事實連接。
  • 列式儲存:採用列式資料庫,支援 Run Length、Fixed Bit Length 等多種壓縮方案。
  • 可插拔索引:包括時間戳、反向、StarTree、Bloom 過濾器、範圍、文字、JSON 和地理空間選項。
  • 串流與批次攝取:即時從 Apache Kafka、Apache Pulsar 和 AWS Kinesis 攝取。批次從 Hadoop、Spark、AWS S3 等攝取。
  • 即時攝取時的 Upsert:以一致性大規模更新資料。
  • 內建多租戶:在隔離的邏輯命名空間中管理和保護資料。
  • 專為擴展設計:水平可擴展且容錯。
  • 雲原生 Kubernetes:Helm chart 提供易於管理的水平可擴展且容錯的叢集部署。

使用情境

Pinot 專為在大量資料和事件上以低延遲執行即時 OLAP 查詢而設計。它適用於需要在不可變資料上進行快速分析(如聚合)的情境,可能伴隨即時資料攝取。Pinot 非常適合查詢具有大量維度和指標的時間序列資料。範例應用包括面向用戶的分析(如 Who Viewed Profile、Company Analytics、Talent Insights、UberEats Restaurant Manager)和面向代理的分析(如 AI 助手、自動化決策系統)。

快速開始

在 Docker 運行且至少分配 6 GB 記憶體的情況下,使用捆綁的範例資料集啟動 Pinot:bashdocker run --rm --name pinot-quickstart -p 127.0.0.1:9000:9000 apachepinot/pinot:1.6.0 QuickStart -type batch等待日誌中出現 ***** Quick start setup complete *****,然後開啟查詢主控台並執行查詢。若要停止示範,請在另一個終端機中執行 docker stop pinot-quickstart。如需串流範例和其他運行 Pinot 的方式,請參閱快速入門指南。

授權與價格

Apache Pinot 採用 Apache-2.0 授權。它是開源且免費使用的。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/apachepinot.svg)](https://yunodb.com/tools/apachepinot?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/apachepinot?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/apachepinot.svg" alt="Featured on YunoDB" height="20"></a>