infinity
為LLM應用而生的AI原生資料庫,實現對稠密向量、稀疏向量、張量(多向量)及全文的極速混合搜尋。
infinity 是什麼?
為LLM應用而生的AI原生資料庫,實現對稠密向量、稀疏向量、張量(多向量)及全文的極速混合搜尋。
infinity 概覽
這是什麼
Infinity 是一個專為 LLM 應用設計的 AI 原生資料庫。它提供對稠密向量、稀疏向量、張量(多向量)和全文資料的混合搜尋能力。該資料庫旨在支援檢索增強生成(RAG)應用,例如搜尋、推薦系統、問答、對話式 AI、輔助工具和內容生成。
主要功能
- 極快速度:在百萬級向量資料集上達到 0.1 毫秒查詢延遲和 15K+ QPS;在 3300 萬份文件上實現 1 毫秒延遲和 12K+ QPS 的全文搜尋。
- 強大搜尋:支援稠密嵌入、稀疏嵌入、張量和全文的混合搜尋,並可進行過濾;包含 RRF、加權和與 ColBERT 等多種重新排序器。
- 豐富資料類型:支援字串、數值、向量等多種資料類型。
- 易於使用:直觀的 Python API、無依賴的單一二進位架構,並可作為 Python 模組嵌入。
使用情境
Infinity 適用於 LLM 應用,包括搜尋、推薦系統、問答、對話式 AI、輔助工具、內容生成以及各種 RAG(檢索增強生成)應用。
快速開始
先決條件:CPU 需支援 x86_64 與 AVX2;作業系統為 Linux(glibc 2.17+)、Windows 10+(需啟用 WSL/WSL2)或 macOS;Python 3.11+。 透過 Docker 安裝 Infinity 伺服器: bash sudo mkdir -p /var/infinity && sudo chown -R $USER /var/infinity docker pull infiniflow/infinity:nightly docker run -d --name infinity -v /var/infinity/:/var/infinity --ulimit nofile=500000:500000 --network=host infiniflow/infinity:nightly 安裝 Infinity 客戶端: pip install infinity-sdk==0.7.4 向量搜尋範例(Python): python import infinity infinity_obj = infinity.connect(infinity.NetworkAddress('', 23817)) db_object = infinity_object.get_database('default_db') table_object = db_object.create_table('my_table', {'num': {'type': 'integer'}, 'body': {'type': 'varchar'}, 'vec': {'type': 'vector, 4, float'}}) table_object.insert([{'num': 1, 'body': 'unnecessary and harmful', 'vec': [1.0, 1.2, 0.8, 0.9]}]) table_object.insert([{'num': 2, 'body': 'Office for Harmful Blooms', 'vec': [4.0, 4.2, 4.3, 4.5]}]) res = table_object.output(['*']).match_dense('vec', [3.0, 2.8, 2.7, 3.1], 'float', 'ip', 2).to_pl() print(res) 如需使用二進位部署或從原始碼建置,請參閱儲存庫的 README。
授權與價格
本專案採用 Apache-2.0 授權,為開放原始碼軟體。
內容整理自該專案公開的 README 與儲存庫資訊。