trulens
評估與追蹤 LLM 實驗與 AI 代理
trulens 是什麼?
評估與追蹤 LLM 實驗與 AI 代理的解決方案。提供對大型語言模型實驗及 AI 代理的評估與追蹤功能。
trulens 概覽
這是什麼
TruLens 是一個開源的 LLM 實驗與 AI 代理評估及追蹤工具,原生支援 OpenTelemetry,可將追蹤資料匯出至任何 OTLP 後端。該工具透過裝飾器對任何應用程式進行儀器化,使用能自我解釋的 LLM 評判者對每個步驟評分,並允許比較不同版本以部署表現最佳的版本。評估可在追蹤資料落地時即時執行,也可事後在資料集上執行。TruLens 已被 Walmart Global Tech、Cisco、J.P. Morgan Chase、Equinix、VMware by Broadcom、Hitachi Digital Services、Thomson Reuters、phData、HID Global 等公司的 AI 團隊採用。
主要功能
- 基於 OpenTelemetry 的追蹤:每個函式呼叫、LLM 生成、檢索和工具調用都會被捕捉為結構化的 OTEL span,可匯出至 Jaeger、Grafana Tempo、Datadog、New Relic 或任何相容 OTLP 的後端。
- 代理評估:七個專為代理系統設計的評估器——LogicalConsistency、ExecutionEfficiency、PlanAdherence、PlanQuality、ToolSelection、ToolCalling 和 ToolQuality——各自衡量代理行為的不同面向。
- 批次與內聯評估:可在應用程式執行時、對現有資料或離線批次模式下執行評估,使用 Run API。
- MCP 支援:使用 MCP span 類型對 Model Context Protocol 工具調用進行儀器化,以捕捉工具名稱、參數、輸出和延遲。
- Selector API:使用靈活的 Selector API 針對任何 span 屬性進行評估。
使用情境
TruLens 用於找出代理失敗的原因以及在不損失品質的情況下削減成本的地方。它適用於追蹤 LLM 應用程式的每個步驟以識別錯誤答案的原因、比較應用程式的不同版本以查看分數、延遲和成本之間的權衡,以及評估代理系統的推理連貫性、執行效率、計劃遵循度、計劃品質、工具選擇、工具調用和工具品質。
快速開始
從 PyPI 安裝 trulens pip 套件:bashpip install trulens安裝特定 LLM 提供者以進行回饋評估:bashpip install trulens trulens-providers-openai # OpenAI / Azure OpenAIpip install trulens trulens-providers-orcarouter # OrcaRouter (OpenAI-compatible gateway)pip install trulens trulens-providers-litellm # LiteLLM (Anthropic, Cohere, Mistral, …)pip install trulens trulens-providers-google # Google Geminipip install trulens trulens-providers-bedrock # AWS Bedrockpip install trulens trulens-providers-cortex # Snowflake Cortexpip install trulens trulens-providers-huggingface # HuggingFacepip install trulens trulens-providers-langchain # LangChain models安裝特定應用框架整合:bashpip install trulens trulens-apps-langchain # LangChain / LangGraphpip install trulens trulens-apps-llamaindex # LlamaIndex
授權與價格
TruLens 採用 MIT 授權條款,為開源軟體。價格未說明;儲存庫指出其為開源。
內容整理自該專案公開的 README 與儲存庫資訊。