lance

開放湖倉格式適用於多模態AI。只需2行程式碼即可從Parquet轉換,實現100倍更快的隨機存取、向量索引和資料版本控制。相容於

lance 是什麼?

開放湖倉格式適用於多模態AI。只需2行程式碼即可從Parquet轉換,實現100倍更快的隨機存取、向量索引和資料版本控制。相容於Pandas、DuckDB、Polars、Pyarrow和PyTorch,更多整合即將推出。

lance 概覽

這是什麼

Lance 是一個開放湖倉格式,專為多模態 AI 設計。它提供檔案格式、表格格式與目錄規格,讓你能在物件儲存上建立完整的湖倉以支援 AI 工作流程。相容於 Pandas、DuckDB、Polars、PyArrow、Ray、Spark 等更多整合。

主要功能

  • 表達式混合搜尋:在同一資料集上結合向量相似度搜尋、全文搜尋(BM25)與 SQL 分析,並搭配加速的次要索引。
  • 極速隨機存取:隨機存取速度比 Parquet 或 Iceberg 快 100 倍,且不犧牲掃描效能。
  • 原生多模態資料支援:以單一統一格式儲存圖片、影片、音訊、文字與嵌入向量,具備高效 blob 編碼與延遲載入。
  • 資料演化:無需完整表格重寫即可高效新增欄位並回填數值,適合機器學習特徵工程。
  • 零拷貝版本控制:自動版本化,支援 ACID 交易、時間旅行、標籤與分支,無需額外基礎設施。
  • 豐富生態系統整合:Apache Arrow、Pandas、Polars、DuckDB、Apache Spark、Ray、Trino、Apache Flink 以及開放目錄(Apache Polaris、Unity Catalog、Apache Gravitino)。

使用情境

  • 建立具備混合搜尋能力的搜尋引擎與特徵儲存。
  • 需要高效 I/O 與隨機存取的大規模機器學習訓練。
  • 儲存、查詢與管理多模態資料,包括圖片、影片、音訊、文字與嵌入向量。

快速開始

安裝 Python 套件: shell pip install pylance 安裝預覽版本: shell pip install --pre --extra-index-url https://pypi.fury.io/lance-format pylance 將 Parquet 資料集轉換為 Lance: python import lance import pandas as pd import pyarrow as pa import pyarrow.dataset df = pd.DataFrame({'a': [5], 'b': [10]}) uri = '/tmp/test.parquet' tbl = pa.Table.from_pandas(df) pa.dataset.write_dataset(tbl, uri, format='parquet') parquet = pa.dataset.dataset(uri, format='parquet') lance.write_dataset(parquet, '/tmp/test.lance') 讀取 Lance 資料: python dataset = lance.dataset('/tmp/test.lance') assert isinstance(dataset, pa.dataset.Dataset)

授權與價格

Apache-2.0 授權,開放原始碼。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/lance-formatlance.svg)](https://yunodb.com/tools/lance-formatlance?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/lance-formatlance?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/lance-formatlance.svg" alt="Featured on YunoDB" height="20"></a>