GenerativeAIExamples
針對加速基礎架構與微服務架構進行最佳化的 Generative AI 參考工作流程。
GenerativeAIExamples 是什麼?
Generative AI 參考工作流程,針對加速基礎架構與微服務架構進行最佳化。
GenerativeAIExamples 概覽
這是什麼
此儲存庫提供針對加速基礎設施與微服務架構最佳化的生成式 AI 參考工作流程。它是開發人員整合 NVIDIA 軟體生態系統以建構生成式 AI 系統(包括 RAG 管線、代理工作流程與模型微調)的起點。
主要功能
- 使用 NVIDIA NeMo 微服務的資料飛輪工作流程,涵蓋微調、推論、評估與護欄 - 更安全的代理 AI 教學,透過 NeMo Auditor 稽核 LLM 並以平行護欄執行推論 - 知識圖譜 RAG 管線,利用 GPU 加速、NIM 微服務與 RAPIDS 生態系統 - 使用 Llama 3.1 與 NVIDIA NeMo Retriever NIM 微服務的代理 RAG 管線 - 搭配本機 NIM 部署與 LangChain 的 RAG 整合 - Vision NIM 工作流程,適用於影片監控、影像搜尋、文字萃取與少樣本分類
使用情境
開發人員可使用這些範例建構 RAG 管線、建立代理工作流程、微調大型語言模型、整合 NVIDIA NIM 微服務,並在加速基礎設施上部署生成式 AI 應用。此儲存庫支援雲端與本地端部署。
快速開始
- 從 NVIDIA API Catalog 取得您的 NVIDIA API 金鑰並匯出:
console export NVIDIA_API_KEY=nvapi-...2. 複製儲存庫:console git clone https://github.com/nvidia/GenerativeAIExamples.git3. 建置並執行基本 RAG 管線:console cd GenerativeAIExamples/RAG/examples/basic_rag/langchain/ docker compose up -d --build4. 完成後停止容器:console docker compose down
授權與價格
此儲存庫採用 Apache-2.0 授權,為開放原始碼。
內容整理自該專案公開的 README 與儲存庫資訊。