sie

開源推論伺服器和生產叢集,滿足你的代理所需的所有模型。

sie 是什麼?

開源推論伺服器和生產叢集,滿足你的代理所需的所有模型。。“(注意:原文結尾有句點,但翻譯時可保留或省略,此處保留中文句點。)

sie 概覽

這是什麼

SIE(Superlinked Inference Engine)是一個開源的推論伺服器與生產叢集,透過單一 API 為代理任務提供模型服務。它取代了多個獨立的模型伺服器,以一個系統按需載入超過 100 個模型。

主要功能

  • OpenAI 相容的 API 端點:/v1/embeddings、/v1/chat/completions、/v1/completions、/v1/responses
  • 預先配置的模型目錄,包含 Stella、SPLADE、Qwen3、GLiNER、SigLIP 等;嵌入與檢索模型在 MTEB 上經過基準測試 - 同時服務多個模型,支援按需載入與 LRU 淘汰機制 - 提供 Kubernetes 與 Helm 部署配置,用於負載平衡閘道、KEDA 自動擴展及 Grafana 儀表板 - 與 LangChain、LlamaIndex、Haystack、DSPy、CrewAI、Chroma、Qdrant、Weaviate 和 LanceDB 整合

使用情境

SIE 執行整個代理背後的推論。任務包括搜尋(嵌入、比對、重新排序)、文件轉換為 Markdown、結構化輸出提取、內容安全分類、代理迴圈本身、翻譯、影像標題生成與物件偵測,以及音訊轉錄。

快速開始

bash # macOS(Apple Silicon)或 Linux,原生(需要 Python 3.12) pip install 'sie-server[local]' && sie-server serve # Linux,NVIDIA GPU docker run --gpus all -p 8080:8080 -v sie-hf-cache:/app/.cache/huggingface ghcr.io/superlinked/sie-server:latest-cuda12-default # Linux,CPU docker run -p 8080:8080 -v sie-hf-cache:/app/.cache/huggingface ghcr.io/superlinked/sie-server:latest-cpu-default 其他 Docker 映像檔與 SDK 安裝說明請參閱儲存庫 README。

授權與價格

授權為 Apache-2.0。此專案為開源。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/superlinkedsie.svg)](https://yunodb.com/tools/superlinkedsie?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/superlinkedsie?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/superlinkedsie.svg" alt="Featured on YunoDB" height="20"></a>