AI-Red-Teaming-Guide

AI-Red-Teaming-Guide 概覽

這是什麼

AI Red Teaming: The Complete Guide 是一份針對 AI 系統的對抗性測試與安全評估的完整指南，協助組織在攻擊者利用漏洞之前找出弱點。本指南適用於安全團隊、AI/ML 工程師、風險管理者、部署 AI 至生產環境的組織、研究人員以及法規遵循人員。內容以實證為基礎，參考微軟 100 多個 AI 產品紅隊經驗，並與 NIST AI RMF、OWASP、MITRE ATLAS 及 CSA 等框架對齊。

主要功能

• 涵蓋主要框架：NIST AI 風險管理框架、OWASP GenAI 紅隊指南、OWASP 代理應用十大風險（2026）、MITRE ATLAS、CSA 代理 AI 紅隊、微軟代理故障模式分類 v2.0 - 包含方法論、威脅態勢、攻擊向量與技術，涵蓋 MCP 與工具協定安全、電腦使用與瀏覽器代理攻擊、RAG 攻擊分類、語音/音訊/多模態攻擊、微調與模型供應鏈安全、AI 對 AI 紅隊、AI 編碼代理與 CI/CD 安全、代理對代理與代理身份、前沿能力與 AI 加速漏洞發現 - 列出紅隊工具：開源工具、商業平台，以及 Cogensec 的 AVERSYN 商業平台 - 提供真實案例研究、建立紅隊、最佳實踐、30/60/90 天快速啟動、評估工具、代理 AI 攻擊樹與控制映射、AI 危害嚴重性與分類模型、AI 事件回應、安全 SDLC 整合產出、防禦架構模式、多語言與文化安全手冊、紅隊資料治理、指標、紫隊操作、常見陷阱、案例研究品質標準、模型與系統卡、來源衛生、從業者附錄、法規遵循、資源、貢獻、詞彙表、授權、致謝、聯絡與免責聲明 - 定義核心概念：紅隊、藍隊、紫隊、攻擊面、越獄、提示注入、模型萃取、資料毒化 - 記錄 2023–2026 年的安全事件，包括具體 CVE 與攻擊活動

使用情境

• 安全團隊實施 AI 安全測試計畫 - AI/ML 工程師建構安全的 AI 系統 - 風險管理者評估 AI 相關風險 - 組織將 AI 部署至生產環境 - 研究人員研究 AI 安全與安全性 - 法規遵循人員確保符合法規要求

快速開始

請參閱儲存庫的 README 以取得安裝與快速啟動說明。

授權與價格

授權條款未說明。此專案標示為開源。

內容整理自該專案公開的 README 與儲存庫資訊。