promptfoo
測試你的提示詞、代理程式和 RAG。針對 AI 進行紅隊演練/滲透測試/漏洞掃描。比較 GPT、Claude、Gemini、DeepSeek 等模型的效能。簡
promptfoo 是什麼?
測試你的提示詞、代理程式和 RAG。針對 AI 進行紅隊演練/滲透測試/漏洞掃描。比較 GPT、Claude、Gemini、DeepSeek 等模型的效能。簡單的宣告式設定,支援命令列和 CI/CD 整合。由 OpenAI 和 Anthropic 使用。
promptfoo 概覽
這是什麼
Promptfoo 是一個 CLI 與函式庫,用於評估與紅隊測試 LLM 應用程式。這是一個 MIT 授權的開源專案,支援自動化評估、漏洞掃描以及模型間的並排比較。該工具被 OpenAI 與 Anthropic 使用。Promptfoo 現已成為 OpenAI 的一部分,但繼續保持開源與 MIT 授權。
主要功能
- 使用自動化評估測試提示詞與模型
- 透過紅隊測試與漏洞掃描保護 LLM 應用程式
- 並排比較模型(OpenAI、Anthropic、Azure、Bedrock、Ollama 等)
- 在 CI/CD 中自動化檢查
- 透過程式碼掃描審查與 LLM 相關的安全與合規問題
- 與團隊分享結果
使用情境
Promptfoo 專為開發 LLM 應用的開發者設計,幫助他們從嘗試錯誤轉變為數據驅動的決策。使用情境包括評估提示詞品質、紅隊測試安全漏洞、跨供應商比較模型性能、將自動化檢查整合至 CI/CD 流程,以及審查拉取請求中的安全與合規問題。
快速開始
shnpm install -g promptfoopromptfoo init --example getting-started亦可透過 brew install promptfoo 或 pip install promptfoo 安裝。或使用 npx promptfoo@latest 執行任何指令而無需安裝。大多數 LLM 提供者需要設定環境變數的 API 金鑰(例如 export OPENAI_API_KEY=sk-abc123)。執行 promptfoo eval 與 promptfoo view 以執行評估並檢視結果。
授權與價格
Promptfoo 是 MIT 授權的開源軟體。價格型態為開源。
內容整理自該專案公開的 README 與儲存庫資訊。