helicone
🧊 開放原始碼 LLM 可觀察性平台。一行程式碼實現監控、評估與實驗。YC W23 🍓
helicone 是什麼?
🧊 開放原始碼的 LLM 可觀察性平台。只需一行程式碼即可監控、評估和實驗。YC W23 🍓
helicone 概覽
這是什麼
Helicone 是一個開源的 LLM 可觀測性平台與 AI 閘道器。開發者只需一行程式碼,即可監控、評估和實驗大型語言模型。該專案來自 Y Combinator W23,採用 Apache-2.0 授權。
主要功能
- AI 閘道器:透過一個 API 金鑰存取超過 100 種 AI 模型,支援智慧路由與自動備援。
- 快速整合:一行程式碼即可記錄來自 OpenAI、Anthropic、LangChain、Gemini、Vercel AI SDK 等服務的所有請求。
- 觀察:檢查與除錯代理程式、聊天機器人、文件處理管線等的追蹤與工作階段。
- 分析:追蹤成本、延遲、品質等指標,並可匯出至 PostHog 建立自訂儀表板。
- 遊樂場:在 UI 中快速測試與迭代提示詞、工作階段與追蹤。
- 提示詞管理:使用生產資料對提示詞進行版本控制,並透過 AI 閘道器部署,無需修改程式碼。
- 微調:可與 OpenPipe 或 Autonomi 等合作夥伴進行微調。
- 企業就緒:符合 SOC 2 與 GDPR 規範。
使用情境
- 監控與除錯基於 LLM 的應用程式,例如聊天機器人、代理程式與文件處理管線。
- 跨多個 AI 提供者追蹤成本與延遲。
- 在受控環境中實驗提示詞與模型版本。
- 為 LLM 效能指標建立自訂儀表板。
快速開始
- 在 helicone.ai 註冊以取得 API 金鑰並加值。
- 將程式碼中的
baseURL改為https://ai-gateway.helicone.ai,並設定您的 API 金鑰。 - 使用 OpenAI 客戶端,如下所示:
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://ai-gateway.helicone.ai",
apiKey: process.env.HELICONE_API_KEY,
});
const response = await client.chat.completions.create({
model: "gpt-4o-mini",
messages: [{ role: "user", content: "Hello!" }]
});
若要自行託管,請使用 Docker:
git clone https://github.com/Helicone/helicone.git
cd docker
cp .env.example .env
./helicone-compose.sh helicone up
授權與價格
採用 Apache-2.0 授權。此專案為開源軟體,提供慷慨的每月免費額度(每月 10,000 次請求,無需信用卡)。更高使用量的價格在提供的文件中未說明。
內容整理自該專案公開的 README 與儲存庫資訊。