guardrails
為大型語言模型添加護欄
guardrails 是什麼?
為大型語言模型添加護欄。此摘要與標語相同,但保留原意。請注意,此處不應添加任何額外資訊。
guardrails 概覽
這是什麼
Guardrails 是一個 Python 框架,協助建立可靠的 AI 應用程式,主要提供兩項功能:執行輸入/輸出防護(Input/Output Guards)來偵測、量化並減輕特定類型的風險,以及協助從大型語言模型產生結構化資料。此框架可與專有及開源的大型語言模型搭配使用,並支援 Python 與 JavaScript。
主要功能
- 執行輸入/輸出防護,攔截 LLM 的輸入與輸出,以偵測並減輕風險。
- 提供一系列預先建置的風險衡量工具(稱為驗證器),可從 Guardrails Hub 取得。
- 支援將多個驗證器組合成單一防護(Guard),進行全面驗證。
- 使用 Pydantic 模型從 LLM 產生結構化資料,透過函式呼叫或提示最佳化達成。
- 可設定為獨立的 REST API 服務,使用 Flask 與 Gunicorn 部署。
使用情境
- 驗證 LLM 輸出是否符合指定格式(例如電話號碼)。
- 檢查 LLM 回應是否含有不當語言或提及競爭對手。
- 從 LLM 產生結構化 JSON 資料,例如寵物名稱及其物種。
- 將防護機制部署為微服務,整合至更大的應用系統中。
快速開始
使用 pip 安裝 Guardrails:bashpip install guardrails-ai設定 Guardrails Hub CLI:bashguardrails configure從 Hub 安裝特定的防護:bashpip install guardrails-ai-regex-match關於建立防護與產生結構化資料的完整說明,請參閱儲存庫的 README。
授權與價格
Guardrails 採用 Apache-2.0 授權條款,為開放原始碼軟體。
內容整理自該專案公開的 README 與儲存庫資訊。