inference
用於語言、視覺、嵌入、重新排序、圖像、音頻和影片模型的開源推論平台。可在從筆記型電腦到分散式叢集的異質硬體上,使用多種引擎進行部署。透過相容於 OpenAI 的 API 提供模型服務。
inference 是什麼?
用於語言、視覺、嵌入、重新排序、圖像、音頻和影片模型的開源推論平台。可在從筆記型電腦到分散式叢集的異質硬體上,使用多種引擎進行部署。透過相容於 OpenAI 的 API 提供模型服務。
inference 概覽
這是什麼
Xorbits Inference(Xinference)是一個專為語言、語音辨識和多模態模型提供服務的函式庫。它允許透過單一指令部署並提供內建模型的服務。支援 OpenAI 相容的 RESTful API、RPC、CLI 和 WebUI。可在雲端、本地端或筆電上執行。
主要功能
- 簡化模型服務:透過單一指令部署並提供大型語言、語音辨識和多模態模型的服務。
- 最先進的內建模型:可使用最新的開源模型。
- 異質硬體利用:透過 ggml 使用 GPU 和 CPU。
- 彈性的 API 與介面:OpenAI 相容的 RESTful API(包含 Function Calling)、RPC、CLI 和 WebUI。
- 分散式部署:將模型推論分散到多個裝置或機器上。
- 內建第三方函式庫整合:LangChain、LlamaIndex、Dify、Chatbox。
- 支援多種推論引擎:vLLM、GGML、TensorRT。
- 支援多種平台:CPU、Metal。
- 支援影像模型(文字轉影像)、文字嵌入模型、多模態模型、音訊模型。
- 更多 OpenAI 功能:Function Calling。
使用情境
- 為實驗與生產環境提供大型語言、語音辨識和多模態模型的服務。
- 跨多個節點進行分散式推論。
- 與 Dify、FastGPT、RAGFlow、MaxKB 和 Xagent 等 AI 應用平台整合,建構 RAG 流程、AI 助手和代理工作流程。
- 適合研究人員、開發者和資料科學家。
快速開始
透過 pip 安裝: bash pip install xinference xinference-local 一鍵安裝指令: Linux/macOS: bash curl -fsSL https://raw.githubusercontent.com/xorbitsai/inference/main/scripts/install.sh | sh Windows PowerShell: powershell irm https://raw.githubusercontent.com/xorbitsai/inference/main/scripts/install.ps1 | iex 也提供 Docker 和 Kubernetes 部署選項;詳細資訊請參閱儲存庫的 README。
授權與價格
本專案採用 Apache-2.0 授權條款,為開源軟體。另提供商業版本 Xinference Enterprise,適用於需要將模型投入生產的團隊,可選擇自行託管或受管雲端部署。
內容整理自該專案公開的 README 與儲存庫資訊。