langtrace
Langtrace 🔍 是一個基於 Open Telemetry 的開放原始碼端對端可觀測性工具,專為 LLM 應用程式設計,提供即時追蹤、評估與指標。
langtrace 是什麼?
Langtrace 🔍 是一個基於 Open Telemetry 的開放原始碼端對端可觀測性工具,專為 LLM 應用程式設計,提供即時追蹤、評估與指標,支援熱門 LLM、LLM 框架、向量資料庫等。可透過 Typescript、Python 整合。🚀💻📊
langtrace 概覽
這是什麼
Langtrace 是一套開放原始碼、基於 OpenTelemetry 的端到端可觀測性工具,專為 LLM 應用程式設計。它能捕捉、除錯並分析來自使用 LLM API、向量資料庫及 LLM 框架的應用程式所產生的追蹤與指標。此專案提供 TypeScript/JavaScript 及 Python 的 SDK,並同時提供託管雲端版本與自架版本。Langtrace 產生的追蹤遵循 OpenTelemetry 標準,SDK 採用 Apache 2.0 授權,主應用程式則採用 AGPL 3.0。自架時不會收集任何遙測資料。
主要功能
- 支援 OpenTelemetry 以進行全面追蹤。
- 即時監控 LLM API 呼叫、向量操作與框架使用。
- 提供效能洞察,包括延遲、成本與使用模式。
- 提供除錯工具,用於追蹤與除錯 LLM 應用程式工作流程。
- 提供詳細的指標與視覺化圖表。
- 提供自架選項,可部署於自有基礎設施。
使用情境
- 監控與除錯生產環境中的 LLM 應用程式。
- 分析 LLM API 呼叫的效能與成本模式。
- 追蹤在 OpenAI、Anthropic、Gemini 等 LLM 提供者,及 Langchain、LlamaIndex、CrewAI 等框架間的互動。
- 觀察 Pinecone、ChromaDB、QDrant 等向量資料庫的操作。
- 對多步驟 LLM 工作流程進行端到端追蹤。
快速開始
安裝 SDK: bash # TypeScript/JavaScript npm i @langtrase/typescript-sdk # Python pip install langtrace-python-sdk 使用 API Key(從 langtrace.ai 取得)或環境變數初始化: typescript // TypeScript import * as Langtrace from '@langtrase/typescript-sdk' Langtrace.init({ api_key: '' }) // 或 Langtrace.init() // 使用 LANGTRACE_API_KEY 環境變數 python # Python from langtrace_python_sdk import langtrace langtrace.init(api_key='') # 或 langtrace.init() # 使用 LANGTRACE_API_KEY 環境變數 若要自架,使用 Docker Compose: bash docker compose up
授權與價格
Langtrace 應用程式(此儲存庫)採用 AGPL 3.0 授權。Langtrace SDK 採用 Apache 2.0 授權。雲端版本目前免費,正在蒐集回饋;專案未來可能轉為收費。自架版本免費,且不會收集遙測資料。
內容整理自該專案公開的 README 與儲存庫資訊。