promptfoo

測試你的提示詞、代理程式和 RAG。針對 AI 進行紅隊演練/滲透測試/漏洞掃描。比較 GPT、Claude、Gemini、DeepSeek 等模型的效能。簡

promptfoo 是什麼?

測試你的提示詞、代理程式和 RAG。針對 AI 進行紅隊演練/滲透測試/漏洞掃描。比較 GPT、Claude、Gemini、DeepSeek 等模型的效能。簡單的宣告式設定,支援命令列和 CI/CD 整合。由 OpenAI 和 Anthropic 使用。

promptfoo 概覽

這是什麼

Promptfoo 是一個 CLI 與函式庫,用於評估與紅隊測試 LLM 應用程式。這是一個 MIT 授權的開源專案,支援自動化評估、漏洞掃描以及模型間的並排比較。該工具被 OpenAI 與 Anthropic 使用。Promptfoo 現已成為 OpenAI 的一部分,但繼續保持開源與 MIT 授權。

主要功能

  • 使用自動化評估測試提示詞與模型
  • 透過紅隊測試與漏洞掃描保護 LLM 應用程式
  • 並排比較模型(OpenAI、Anthropic、Azure、Bedrock、Ollama 等)
  • 在 CI/CD 中自動化檢查
  • 透過程式碼掃描審查與 LLM 相關的安全與合規問題
  • 與團隊分享結果

使用情境

Promptfoo 專為開發 LLM 應用的開發者設計,幫助他們從嘗試錯誤轉變為數據驅動的決策。使用情境包括評估提示詞品質、紅隊測試安全漏洞、跨供應商比較模型性能、將自動化檢查整合至 CI/CD 流程,以及審查拉取請求中的安全與合規問題。

快速開始

shnpm install -g promptfoopromptfoo init --example getting-started亦可透過 brew install promptfoo 或 pip install promptfoo 安裝。或使用 npx promptfoo@latest 執行任何指令而無需安裝。大多數 LLM 提供者需要設定環境變數的 API 金鑰(例如 export OPENAI_API_KEY=sk-abc123)。執行 promptfoo eval 與 promptfoo view 以執行評估並檢視結果。

授權與價格

Promptfoo 是 MIT 授權的開源軟體。價格型態為開源。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/promptfoopromptfoo.svg)](https://yunodb.com/tools/promptfoopromptfoo?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/promptfoopromptfoo?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/promptfoopromptfoo.svg" alt="Featured on YunoDB" height="20"></a>