ChainForge

一個開源的視覺化程式設計環境,用於對大型語言模型進行提示詞的實戰測試。

ChainForge 是什麼?

一個開源的視覺化程式設計環境,用於對大型語言模型進行提示詞的實戰測試。

ChainForge 概覽

這是什麼

ChainForge 是一個開源的視覺化程式設計環境,用於對大型語言模型(LLM)的提示進行實戰測試。它提供資料流介面,用於分析和評估 LLM 的回應,讓使用者能夠比較提示、模型和回應品質,超越與個別 LLM 的臨時對話。該工具基於 ReactFlow 和 Flask 建置。

主要功能

  • 同時查詢多個 LLM,快速有效地測試提示想法和變化。
  • 比較跨提示排列、模型和模型設定的回應品質。
  • 設定評估指標(評分函數)並立即視覺化跨提示、提示參數、模型和模型設定的結果。
  • 使用 AI 簡化整個流程:透過內建的生成式 AI 功能建立合成表格和輸入範例,或提示模型為評估提供入門程式碼。
  • 支援多個提供者,包括 OpenRouter、OpenAI、Anthropic、Google Gemini、DeepSeek、HuggingFace、Together.ai、Ollama API、Microsoft Azure OpenAI Endpoints 和 Amazon Bedrock。
  • 支援檢索增強生成(RAG),包含上傳、分塊、檢索和重新排序的節點。

使用情境

ChainForge 專為提示工程和評估工作流程而設計。使用情境包括比較不同 LLM 的提示變化、使用表格資料進行真實答案評估、透過組合提示輸入測試模型行為,以及設定自動化評估指標來評估回應品質。

快速開始

要在本機安裝 ChainForge,請確保已安裝 Python 3.10 或更高版本,然後執行:bashpip install chainforge安裝後,使用以下指令啟動伺服器:bashchainforge serve在支援的瀏覽器(Google Chrome、Firefox、Microsoft Edge 或 Brave)中開啟 localhost:8000。若使用 Docker,請執行:bashdocker compose up -d在 http://localhost:8000 存取 ChainForge。

授權與價格

ChainForge 是開源軟體,採用 MIT 授權。價格類型為開源。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/ianarawjochainforge.svg)](https://yunodb.com/tools/ianarawjochainforge?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/ianarawjochainforge?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/ianarawjochainforge.svg" alt="Featured on YunoDB" height="20"></a>