sie
開源推論伺服器和生產叢集,滿足你的代理所需的所有模型。
sie 是什麼?
開源推論伺服器和生產叢集,滿足你的代理所需的所有模型。。“(注意:原文結尾有句點,但翻譯時可保留或省略,此處保留中文句點。)
sie 概覽
這是什麼
SIE(Superlinked Inference Engine)是一個開源的推論伺服器與生產叢集,透過單一 API 為代理任務提供模型服務。它取代了多個獨立的模型伺服器,以一個系統按需載入超過 100 個模型。
主要功能
- OpenAI 相容的 API 端點:
/v1/embeddings、/v1/chat/completions、/v1/completions、/v1/responses - 預先配置的模型目錄,包含 Stella、SPLADE、Qwen3、GLiNER、SigLIP 等;嵌入與檢索模型在 MTEB 上經過基準測試 - 同時服務多個模型,支援按需載入與 LRU 淘汰機制 - 提供 Kubernetes 與 Helm 部署配置,用於負載平衡閘道、KEDA 自動擴展及 Grafana 儀表板 - 與 LangChain、LlamaIndex、Haystack、DSPy、CrewAI、Chroma、Qdrant、Weaviate 和 LanceDB 整合
使用情境
SIE 執行整個代理背後的推論。任務包括搜尋(嵌入、比對、重新排序)、文件轉換為 Markdown、結構化輸出提取、內容安全分類、代理迴圈本身、翻譯、影像標題生成與物件偵測,以及音訊轉錄。
快速開始
bash # macOS(Apple Silicon)或 Linux,原生(需要 Python 3.12) pip install 'sie-server[local]' && sie-server serve # Linux,NVIDIA GPU docker run --gpus all -p 8080:8080 -v sie-hf-cache:/app/.cache/huggingface ghcr.io/superlinked/sie-server:latest-cuda12-default # Linux,CPU docker run -p 8080:8080 -v sie-hf-cache:/app/.cache/huggingface ghcr.io/superlinked/sie-server:latest-cpu-default 其他 Docker 映像檔與 SDK 安裝說明請參閱儲存庫 README。
授權與價格
授權為 Apache-2.0。此專案為開源。
內容整理自該專案公開的 README 與儲存庫資訊。