Guardrails

NeMo Guardrails 是一套開放原始碼工具組,可輕鬆為基於大型語言模型的對話系統加入可程式化的防護措施。

Guardrails 是什麼?

NeMo Guardrails 是一套開放原始碼工具組,可輕鬆為基於大型語言模型的對話系統加入可程式化的防護措施。

Guardrails 概覽

這是什麼

NVIDIA NeMo Guardrails 是一個開源工具包,用於為基於 LLM 的對話系統添加可程式化的護欄(guardrails)。護欄(或稱「rails」)用於控制大型語言模型的輸出,例如避免討論特定主題、遵循預先定義的對話路徑、使用特定語言風格或提取結構化資料。

主要功能

  • 建立可信賴、安全且可靠的 LLM 應用程式:定義護欄以引導和保護對話,防止不必要的話題。
  • 安全地連接模型、鏈結與其他服務:無縫且安全地將 LLM 連接到其他服務(工具)。
  • 可控的對話:引導 LLM 遵循預先定義的對話路徑,強制執行標準作業程序。
  • 五種護欄類型:輸入護欄、對話護欄、檢索護欄、執行護欄與輸出護欄。
  • 防範常見 LLM 漏洞,例如越獄攻擊與提示注入。
  • 支援多種 LLM,包括 OpenAI GPT-3.5、GPT-4、LLaMa-2、Falcon、Vicuna 或 Mosaic。

使用情境

  1. 文件問答(檢索增強生成):強制執行事實核查與輸出審核。
  2. 領域特定助手(聊天機器人):確保助手不偏離主題並遵循設計的對話流程。
  3. LLM 端點:為自訂 LLM 添加護欄以實現更安全的客戶互動。
  4. LangChain 鏈結(可選):在 LangChain 鏈結周圍添加護欄層。

快速開始

使用 pip 安裝:

pip install nemoguardrails

使用 Python API 的範例:

from nemoguardrails import LLMRails, RailsConfig

config = RailsConfig.from_path("PATH/TO/CONFIG")
rails = LLMRails(config)

completion = rails.generate(
    messages=[{"role": "user", "content": "Hello world!"}]
)

授權與價格

授權條款未聲明(NOASSERTION)。此專案為開源。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/nvidia-nemoguardrails.svg)](https://yunodb.com/tools/nvidia-nemoguardrails?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/nvidia-nemoguardrails?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/nvidia-nemoguardrails.svg" alt="Featured on YunoDB" height="20"></a>