helicone

🧊 開放原始碼 LLM 可觀察性平台。一行程式碼實現監控、評估與實驗。YC W23 🍓

helicone 是什麼?

🧊 開放原始碼的 LLM 可觀察性平台。只需一行程式碼即可監控、評估和實驗。YC W23 🍓

helicone 概覽

這是什麼

Helicone 是一個開源的 LLM 可觀測性平台與 AI 閘道器。開發者只需一行程式碼,即可監控、評估和實驗大型語言模型。該專案來自 Y Combinator W23,採用 Apache-2.0 授權。

主要功能

  • AI 閘道器:透過一個 API 金鑰存取超過 100 種 AI 模型,支援智慧路由與自動備援。
  • 快速整合:一行程式碼即可記錄來自 OpenAI、Anthropic、LangChain、Gemini、Vercel AI SDK 等服務的所有請求。
  • 觀察:檢查與除錯代理程式、聊天機器人、文件處理管線等的追蹤與工作階段。
  • 分析:追蹤成本、延遲、品質等指標,並可匯出至 PostHog 建立自訂儀表板。
  • 遊樂場:在 UI 中快速測試與迭代提示詞、工作階段與追蹤。
  • 提示詞管理:使用生產資料對提示詞進行版本控制,並透過 AI 閘道器部署,無需修改程式碼。
  • 微調:可與 OpenPipe 或 Autonomi 等合作夥伴進行微調。
  • 企業就緒:符合 SOC 2 與 GDPR 規範。

使用情境

  • 監控與除錯基於 LLM 的應用程式,例如聊天機器人、代理程式與文件處理管線。
  • 跨多個 AI 提供者追蹤成本與延遲。
  • 在受控環境中實驗提示詞與模型版本。
  • 為 LLM 效能指標建立自訂儀表板。

快速開始

  1. 在 helicone.ai 註冊以取得 API 金鑰並加值。
  2. 將程式碼中的 baseURL 改為 https://ai-gateway.helicone.ai,並設定您的 API 金鑰。
  3. 使用 OpenAI 客戶端,如下所示:
import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://ai-gateway.helicone.ai",
  apiKey: process.env.HELICONE_API_KEY,
});

const response = await client.chat.completions.create({
  model: "gpt-4o-mini",
  messages: [{ role: "user", content: "Hello!" }]
});

若要自行託管,請使用 Docker:

git clone https://github.com/Helicone/helicone.git
cd docker
cp .env.example .env
./helicone-compose.sh helicone up

授權與價格

採用 Apache-2.0 授權。此專案為開源軟體,提供慷慨的每月免費額度(每月 10,000 次請求,無需信用卡)。更高使用量的價格在提供的文件中未說明。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/heliconehelicone.svg)](https://yunodb.com/tools/heliconehelicone?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/heliconehelicone?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/heliconehelicone.svg" alt="Featured on YunoDB" height="20"></a>