openllmetry
基於 OpenTelemetry 的 GenAI 或 LLM 應用開源可觀測性
openllmetry 是什麼?
基於 OpenTelemetry 的 GenAI 或 LLM 應用開源可觀測性
openllmetry 概覽
這是什麼
OpenLLMetry 是一套基於 OpenTelemetry 的開源可觀測性工具,專為 GenAI 與 LLM 應用程式設計。它提供標準的 OpenTelemetry 儀器,支援 LLM 供應商、向量資料庫與框架。此專案由 Traceloop 維護,採用 Apache 2.0 授權。
主要功能
- 基於 OpenTelemetry,可連接現有可觀測性方案,如 Datadog、Honeycomb 等。
- 提供 LLM 供應商(如 OpenAI、Anthropic、Bedrock、Cohere、Gemini、Mistral、Ollama)與向量資料庫(如 Chroma、Pinecone、Qdrant、Weaviate)的儀器。
- 支援框架包括 LangChain、LlamaIndex、Haystack、CrewAI、LangGraph、LiteLLM 等。
- 包含 Traceloop SDK,簡化設定流程,同時輸出標準 OpenTelemetry 資料。
- 可將資料傳送至多個目的地:Traceloop、Axiom、Azure Application Insights、Datadog、Dynatrace、Google Cloud、Grafana、Honeycomb、New Relic、OpenTelemetry Collector 等。
- 從 v0.49.2 起,SDK 與儀器中不再收集任何遙測資料。
使用情境
- 在生產環境中監控與除錯 LLM 應用程式。
- 將 LLM 可觀測性整合至現有的 OpenTelemetry 監控堆疊。
- 透過單一儀器層追蹤多個 LLM 供應商與向量資料庫的呼叫。
- 觀察 LangChain、LlamaIndex 等框架層級的操作。
快速開始
安裝 SDK:bashpip install traceloop-sdk然後在程式碼中加入:pythonfrom traceloop.sdk import TraceloopTraceloop.init()若在本機測試,可停用批次傳送:pythonTraceloop.init(disable_batch=True)
授權與價格
OpenLLMetry 採用 Apache 2.0 開源授權。價格未說明,此專案標示為開源軟體。
內容整理自該專案公開的 README 與儲存庫資訊。