vllm
大型語言模型專用,高吞吐量且記憶體高效的推論與服務引擎
瀏覽 YunoDB 近期依公開專案資料篩選並收錄的實用工具。
13433 項工具
大型語言模型專用,高吞吐量且記憶體高效的推論與服務引擎
一個開放原始碼且AI優先的身分識別與存取管理(IAM)系統,並內建LLM MCP與AI閘道器及認證伺服器
最快的企業級AI閘道(比LiteLLM快50倍),具備自適應負載平衡器、叢集模式、安全護欄、支援超過1000種模型,且在每秒5000次請求下額外負擔低於100微秒
🔥 Java 企業應用開發框架:節制、高效、開放、綠色節能。700% 更高並發、50% 記憶體節省、10 倍啟動速度、90% 打包體積縮小。相容 Java 8~26,支援 LTS。可替代傳統框架。
純 Rust + CUDA LLM 推論引擎 — 無需 PyTorch,相容 OpenAI,支援 Qwen3 至 Kimi-K2
適用於 Apple Silicon 的原生 LLM 推理伺服器。相容 OpenAI 與 Anthropic API。無需 Python。包含 MLX Core macOS 應用程式,支援聊天、代理模式與工具呼叫。
VeritasGraph — 在 GitHub 上開源的知識圖譜與 GraphRAG 框架。建構多跳推理、本體感知檢索及可驗證歸因於
DeepSeek 原生的 AI 程式碼代理,專為您的終端機打造。以前綴快取穩定性為核心設計 — 讓它持續運行。
OpenAI Codex 與 Claude Code 的通用提供者代理 — 使用任何 LLM(Claude、Gemini、Grok、DeepSeek、Ollama…)搭配 Codex CLI、App、SDK 和 Claude Code
Superset 是一款可協調 100 多個編寫代理程式的代理整合開發環境 (IDE),在您自己的訂閱下同時執行任何代理程式。
一個簡單、高效且可擴展的 Jax LLM!
SGLang 是一個高效能的大型語言模型與多模態模型服務框架。
Zero-config entity resolution that feeds a durable identity layer: resolve messy records from any source into stable golden entities — a Customer 360 with whole
搞定它。開源、開箱即用的 AI Agent。
Mooncake 是 Moonshot AI 旗下領先的大型語言模型服務 Kimi 的推理平台。
梯度下降,但參數是代理——一個平行、非同步的框架,用於自我進化的代理(技能、提示、工具)。差異即梯度。
一個持續性的開發工作空間,能自我改進並跨越多個工作階段。
最佳 AI 代理協作框架。
🐢 開源 LLM 代理評估與測試函式庫
[EMNLP2025] LightRAG:簡單且快速的檢索增強生成
Agentic AI 平台,運用 Visual LLM Chaining 打造主動式數位助理
LLM 推理伺服器具備持續批次處理與 SSD 快取功能,適用於 Apple Silicon,並從 macOS 選單列管理。
Ekko Studio 是一個本地優先的 AI 工作空間,支援多代理聊天、編碼和視覺化工作流程,可在桌面和網頁上使用。
開源桌面 AI 代理,用於工具、檔案、知識、工作流程與實際交付。