lance
開放湖倉格式適用於多模態AI。只需2行程式碼即可從Parquet轉換,實現100倍更快的隨機存取、向量索引和資料版本控制。相容於
lance 是什麼?
開放湖倉格式適用於多模態AI。只需2行程式碼即可從Parquet轉換,實現100倍更快的隨機存取、向量索引和資料版本控制。相容於Pandas、DuckDB、Polars、Pyarrow和PyTorch,更多整合即將推出。
lance 概覽
這是什麼
Lance 是一個開放湖倉格式,專為多模態 AI 設計。它提供檔案格式、表格格式與目錄規格,讓你能在物件儲存上建立完整的湖倉以支援 AI 工作流程。相容於 Pandas、DuckDB、Polars、PyArrow、Ray、Spark 等更多整合。
主要功能
- 表達式混合搜尋:在同一資料集上結合向量相似度搜尋、全文搜尋(BM25)與 SQL 分析,並搭配加速的次要索引。
- 極速隨機存取:隨機存取速度比 Parquet 或 Iceberg 快 100 倍,且不犧牲掃描效能。
- 原生多模態資料支援:以單一統一格式儲存圖片、影片、音訊、文字與嵌入向量,具備高效 blob 編碼與延遲載入。
- 資料演化:無需完整表格重寫即可高效新增欄位並回填數值,適合機器學習特徵工程。
- 零拷貝版本控制:自動版本化,支援 ACID 交易、時間旅行、標籤與分支,無需額外基礎設施。
- 豐富生態系統整合:Apache Arrow、Pandas、Polars、DuckDB、Apache Spark、Ray、Trino、Apache Flink 以及開放目錄(Apache Polaris、Unity Catalog、Apache Gravitino)。
使用情境
- 建立具備混合搜尋能力的搜尋引擎與特徵儲存。
- 需要高效 I/O 與隨機存取的大規模機器學習訓練。
- 儲存、查詢與管理多模態資料,包括圖片、影片、音訊、文字與嵌入向量。
快速開始
安裝 Python 套件: shell pip install pylance 安裝預覽版本: shell pip install --pre --extra-index-url https://pypi.fury.io/lance-format pylance 將 Parquet 資料集轉換為 Lance: python import lance import pandas as pd import pyarrow as pa import pyarrow.dataset df = pd.DataFrame({'a': [5], 'b': [10]}) uri = '/tmp/test.parquet' tbl = pa.Table.from_pandas(df) pa.dataset.write_dataset(tbl, uri, format='parquet') parquet = pa.dataset.dataset(uri, format='parquet') lance.write_dataset(parquet, '/tmp/test.lance') 讀取 Lance 資料: python dataset = lance.dataset('/tmp/test.lance') assert isinstance(dataset, pa.dataset.Dataset)
授權與價格
Apache-2.0 授權,開放原始碼。
內容整理自該專案公開的 README 與儲存庫資訊。