openllmetry

基於 OpenTelemetry 的 GenAI 或 LLM 應用開源可觀測性

openllmetry 是什麼?

基於 OpenTelemetry 的 GenAI 或 LLM 應用開源可觀測性

openllmetry 概覽

這是什麼

OpenLLMetry 是一套基於 OpenTelemetry 的開源可觀測性工具,專為 GenAI 與 LLM 應用程式設計。它提供標準的 OpenTelemetry 儀器,支援 LLM 供應商、向量資料庫與框架。此專案由 Traceloop 維護,採用 Apache 2.0 授權。

主要功能

  • 基於 OpenTelemetry,可連接現有可觀測性方案,如 Datadog、Honeycomb 等。
  • 提供 LLM 供應商(如 OpenAI、Anthropic、Bedrock、Cohere、Gemini、Mistral、Ollama)與向量資料庫(如 Chroma、Pinecone、Qdrant、Weaviate)的儀器。
  • 支援框架包括 LangChain、LlamaIndex、Haystack、CrewAI、LangGraph、LiteLLM 等。
  • 包含 Traceloop SDK,簡化設定流程,同時輸出標準 OpenTelemetry 資料。
  • 可將資料傳送至多個目的地:Traceloop、Axiom、Azure Application Insights、Datadog、Dynatrace、Google Cloud、Grafana、Honeycomb、New Relic、OpenTelemetry Collector 等。
  • 從 v0.49.2 起,SDK 與儀器中不再收集任何遙測資料。

使用情境

  • 在生產環境中監控與除錯 LLM 應用程式。
  • 將 LLM 可觀測性整合至現有的 OpenTelemetry 監控堆疊。
  • 透過單一儀器層追蹤多個 LLM 供應商與向量資料庫的呼叫。
  • 觀察 LangChain、LlamaIndex 等框架層級的操作。

快速開始

安裝 SDK:bashpip install traceloop-sdk然後在程式碼中加入:pythonfrom traceloop.sdk import TraceloopTraceloop.init()若在本機測試,可停用批次傳送:pythonTraceloop.init(disable_batch=True)

授權與價格

OpenLLMetry 採用 Apache 2.0 開源授權。價格未說明,此專案標示為開源軟體。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/traceloopopenllmetry.svg)](https://yunodb.com/tools/traceloopopenllmetry?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/traceloopopenllmetry?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/traceloopopenllmetry.svg" alt="Featured on YunoDB" height="20"></a>