UForm

口袋大小的多模態 AI,用於跨多語言文字、圖片及 🔜 影片的內容理解與生成,速度比 OpenAI CLIP 和 LLaVA 快達 5 倍

UForm 是什麼?

口袋大小的多模態 AI,用於跨多語言文字、圖片及 🔜 影片的內容理解與生成,速度比 OpenAI CLIP 和 LLaVA 快達 5 倍 🖼️ & 🖋️

UForm 概覽

這是什麼

UForm 是一個多模態 AI 函式庫,專注於內容理解與生成。它提供輕量級的預訓練 Transformer 模型,可處理多語言文字、圖片,以及未來將支援的影片。該函式庫包含嵌入模型(用於搜尋與檢索)和生成模型(用於聊天、圖片描述與視覺問答)。支援 ONNX、CoreML 和 PyTorch 執行環境,可從伺服器部署到智慧型手機。

主要功能

  • 微型嵌入:64 維 Matryoshka 風格嵌入,實現快速搜尋。
  • 高吞吐量:由於模型尺寸小,推論速度比競爭對手快 2-4 倍。
  • 可攜帶:原生 ONNX 支援,便於跨平台部署。
  • 量化感知:嵌入可從 f32 降轉為 i8,召回率損失極小。
  • 多語言:在平衡資料集上訓練,涵蓋超過 20 種語言。

使用情境

  • 跨圖片與文字的多語言內容理解與搜尋。
  • 使用生成模型進行圖片描述與視覺問答(VQA)。
  • 使用小型生成模型進行聊天與對話式 AI。
  • 邊緣裝置與行動裝置部署,對模型大小與速度有嚴格要求。

快速開始

使用 pip 安裝函式庫:pip install uform嵌入模型請載入並依照儲存庫 README 中的範例使用。生成模型則可使用 Hugging Face transformers 函式庫,模型名稱為 unum-cloud/uform-gen2-dpo。完整範例請參閱儲存庫 README。

授權與價格

本專案採用 Apache-2.0 授權,為開源軟體。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/unum-clouduform.svg)](https://yunodb.com/tools/unum-clouduform?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/unum-clouduform?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/unum-clouduform.svg" alt="Featured on YunoDB" height="20"></a>