langfuse
🪢 開源 AI 工程平台:AI 閘道、代理可觀測性、評估與提示/技能管理,基於 OpenTelemetry 建構。一個開放平台適用於每個
langfuse 是什麼?
🪢 開源 AI 工程平台:AI 閘道、代理可觀測性、評估與提示/技能管理,基於 OpenTelemetry 建構。一個開放平台適用於每個 AI 呼叫與每個代理。可自行託管或使用 Langfuse Cloud。
langfuse 概覽
這是什麼
Langfuse 是一個開源 LLM 工程平台。根據其 README,它協助團隊協同開發、監控、評估與除錯 AI 應用程式。它可以在幾分鐘內完成自架,並以 ClickHouse 開源資料庫打造。README 指出,自 2026 年 1 月起 Langfuse 隸屬於 ClickHouse。
主要功能
- LLM 應用程式可觀測性:為應用程式加上 instrumentation 並開始將 trace 送入 Langfuse,藉此追蹤 LLM 呼叫以及檢索、embedding 或 agent 動作等相關邏輯,並檢視與除錯複雜的日誌與使用者工作階段。
- Prompt 管理:集中管理、版本控制並協同迭代 prompt,透過伺服器端與用戶端的高效快取,讓迭代 prompt 不會為應用程式增加延遲。
- 評估:支援 LLM-as-a-judge、程式碼評估器、使用者回饋收集、人工標註,以及透過 API/SDK 自訂的評估流程。
- 資料集:提供測試集與基準,支援持續改善、部署前測試、結構化實驗,並可與 LangChain、LlamaIndex 等框架整合。
- LLM Playground:用來測試與迭代 prompt 及模型設定的工具,在追蹤中看到不佳結果時可直接跳轉至 playground 進行調整。
- API 與 SDK:提供 OpenAPI 規格、Postman collection,以及 Python 與 JS/TS 的型別化 SDK。
使用情境
- 追蹤與除錯 LLM 呼叫、檢索、embedding 與 agent 動作。
- 對 prompt 進行版本控制與迭代,同時不增加應用程式延遲。
- 在部署前以資料集執行評估與基準測試。
- 在 playground 中測試 prompt 與模型設定。
- 透過 API 建構客製化的 LLMOps 流程。
快速開始
使用 Docker Compose 在本機自架:bash# Get a copy of the latest Langfuse repositorygit clone --depth=1 https://github.com/langfuse/langfuse.gitcd langfuse# Run the langfuse docker composedocker compose upREADME 亦列出其他部署方式:以 Docker Compose 在單一 VM 上執行、透過 Helm 在 Kubernetes 叢集上執行(描述為偏好的正式環境部署方式)、AWS、Azure、GCP 的 Terraform 範本,以及託管式的 Langfuse Cloud。
授權與價格
中介資料將價格類型列為開源,授權欄位則為 NOASSERTION,因此此處未載明具體授權條款。README 說明了由 Langfuse 團隊提供的託管式 Langfuse Cloud 部署,提供免費方案且不需要信用卡,也可在自己的基礎架構上自架。
內容整理自該專案公開的 README 與儲存庫資訊。