openlit

同一個 AI 代理,更低的帳單。讓你的 AI 發揮更多效益的工具與基礎架構。更少的 Token、更低的運算量、更少的成本。

openlit 是什麼?

同一個 AI 代理,更低的帳單。提供工具與基礎架構,讓你的 AI 發揮更多效益。使用更少的 Token、更低的運算量,並降低整體成本。

openlit 概覽

這是什麼

OpenLIT 是一個開源的代理程式工程平台。它提供基於 OpenTelemetry 的追蹤、評估、護欄、提示詞與上下文管理,以及成本與 GPU 監控,專為 AI 代理與程式碼代理的「外圍系統」而設計。該平台可免費自架(Apache 2.0),並支援任何模型、框架或外圍系統,包括 Claude Code、Codex、Cursor、OpenAI Agents SDK、LangGraph、CrewAI 以及 70 多種整合。

主要功能

  • 代理可觀測性與 OpenTelemetry LLM 追蹤,涵蓋每次 LLM 呼叫、工具呼叫、MCP 請求、檢索與代理步驟
  • 評估功能:LLM 作為評審、程式化檢查、人工回饋,以及 CI 閘道
  • 執行時期護欄:提示詞注入、敏感話題、主題限制
  • Prompt Hub 提供版本化、集中管理的提示詞;Context 儲存可重複使用的 RAG 內容;Rule Engine 根據追蹤屬性定義執行時期規則;Vault 管理 LLM API 金鑰
  • 成本追蹤支援自訂定價,並可監控 NVIDIA、AMD 與 Intel GPU
  • OpenGround 可並排比較不同模型的成本、延遲與輸出品質

使用情境

OpenLIT 適用於在生產環境中建置與營運 AI 代理與程式碼代理的團隊。使用情境包括:透過追蹤完整的代理對話來除錯生產環境中的代理失敗、評估代理輸出品質與安全性、無需重新部署即可管理提示詞與上下文、強制執行執行時期護欄、追蹤 LLM 成本與 GPU 使用率,以及在部署前比較不同模型。

快速開始

bashgit clone https://github.com/openlit/openlit.gitcd openlitdocker compose up -d開啟 http://127.0.0.1:3000。安裝 SDK:pip install openlit(Python)或 npm install openlit(TypeScript)。然後使用 openlit.init() 檢測應用程式,並設定 OTLP 端點。若要監控程式碼代理,請安裝 CLI 並執行 openlit coding install --vendor=all。

授權與價格

OpenLIT 採用 Apache 2.0 授權,可免費自架。定價類型為開源。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/openlitopenlit.svg)](https://yunodb.com/tools/openlitopenlit?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/openlitopenlit?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/openlitopenlit.svg" alt="Featured on YunoDB" height="20"></a>