inference

用於語言、視覺、嵌入、重新排序、圖像、音頻和影片模型的開源推論平台。可在從筆記型電腦到分散式叢集的異質硬體上,使用多種引擎進行部署。透過相容於 OpenAI 的 API 提供模型服務。

inference 是什麼?

用於語言、視覺、嵌入、重新排序、圖像、音頻和影片模型的開源推論平台。可在從筆記型電腦到分散式叢集的異質硬體上,使用多種引擎進行部署。透過相容於 OpenAI 的 API 提供模型服務。

inference 概覽

這是什麼

Xorbits Inference(Xinference)是一個專為語言、語音辨識和多模態模型提供服務的函式庫。它允許透過單一指令部署並提供內建模型的服務。支援 OpenAI 相容的 RESTful API、RPC、CLI 和 WebUI。可在雲端、本地端或筆電上執行。

主要功能

  • 簡化模型服務:透過單一指令部署並提供大型語言、語音辨識和多模態模型的服務。
  • 最先進的內建模型:可使用最新的開源模型。
  • 異質硬體利用:透過 ggml 使用 GPU 和 CPU。
  • 彈性的 API 與介面:OpenAI 相容的 RESTful API(包含 Function Calling)、RPC、CLI 和 WebUI。
  • 分散式部署:將模型推論分散到多個裝置或機器上。
  • 內建第三方函式庫整合:LangChain、LlamaIndex、Dify、Chatbox。
  • 支援多種推論引擎:vLLM、GGML、TensorRT。
  • 支援多種平台:CPU、Metal。
  • 支援影像模型(文字轉影像)、文字嵌入模型、多模態模型、音訊模型。
  • 更多 OpenAI 功能:Function Calling。

使用情境

  • 為實驗與生產環境提供大型語言、語音辨識和多模態模型的服務。
  • 跨多個節點進行分散式推論。
  • 與 Dify、FastGPT、RAGFlow、MaxKB 和 Xagent 等 AI 應用平台整合,建構 RAG 流程、AI 助手和代理工作流程。
  • 適合研究人員、開發者和資料科學家。

快速開始

透過 pip 安裝: bash pip install xinference xinference-local 一鍵安裝指令: Linux/macOS: bash curl -fsSL https://raw.githubusercontent.com/xorbitsai/inference/main/scripts/install.sh | sh Windows PowerShell: powershell irm https://raw.githubusercontent.com/xorbitsai/inference/main/scripts/install.ps1 | iex 也提供 Docker 和 Kubernetes 部署選項;詳細資訊請參閱儲存庫的 README。

授權與價格

本專案採用 Apache-2.0 授權條款,為開源軟體。另提供商業版本 Xinference Enterprise,適用於需要將模型投入生產的團隊,可選擇自行託管或受管雲端部署。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/xorbitsaiinference.svg)](https://yunodb.com/tools/xorbitsaiinference?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/xorbitsaiinference?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/xorbitsaiinference.svg" alt="Featured on YunoDB" height="20"></a>