ChainForge
一個開源的視覺化程式設計環境,用於對大型語言模型進行提示詞的實戰測試。
ChainForge 是什麼?
一個開源的視覺化程式設計環境,用於對大型語言模型進行提示詞的實戰測試。
ChainForge 概覽
這是什麼
ChainForge 是一個開源的視覺化程式設計環境,用於對大型語言模型(LLM)的提示進行實戰測試。它提供資料流介面,用於分析和評估 LLM 的回應,讓使用者能夠比較提示、模型和回應品質,超越與個別 LLM 的臨時對話。該工具基於 ReactFlow 和 Flask 建置。
主要功能
- 同時查詢多個 LLM,快速有效地測試提示想法和變化。
- 比較跨提示排列、模型和模型設定的回應品質。
- 設定評估指標(評分函數)並立即視覺化跨提示、提示參數、模型和模型設定的結果。
- 使用 AI 簡化整個流程:透過內建的生成式 AI 功能建立合成表格和輸入範例,或提示模型為評估提供入門程式碼。
- 支援多個提供者,包括 OpenRouter、OpenAI、Anthropic、Google Gemini、DeepSeek、HuggingFace、Together.ai、Ollama API、Microsoft Azure OpenAI Endpoints 和 Amazon Bedrock。
- 支援檢索增強生成(RAG),包含上傳、分塊、檢索和重新排序的節點。
使用情境
ChainForge 專為提示工程和評估工作流程而設計。使用情境包括比較不同 LLM 的提示變化、使用表格資料進行真實答案評估、透過組合提示輸入測試模型行為,以及設定自動化評估指標來評估回應品質。
快速開始
要在本機安裝 ChainForge,請確保已安裝 Python 3.10 或更高版本,然後執行:bashpip install chainforge安裝後,使用以下指令啟動伺服器:bashchainforge serve在支援的瀏覽器(Google Chrome、Firefox、Microsoft Edge 或 Brave)中開啟 localhost:8000。若使用 Docker,請執行:bashdocker compose up -d在 http://localhost:8000 存取 ChainForge。
授權與價格
ChainForge 是開源軟體,採用 MIT 授權。價格類型為開源。
內容整理自該專案公開的 README 與儲存庫資訊。