GenAIExamples
生成式 AI 範例 - 一個收集 GenAI 範例 (例如 ChatQnA、Copilot) 的專案,用以展示企業 AI 開放平台 (OPEA) 的流程能力。
GenAIExamples 是什麼?
GenAIExamples 是一個收集 GenAI 範例的專案,例如 ChatQnA、Copilot,用以展示企業 AI 開放平台 (OPEA) 的流程能力。
GenAIExamples 概覽
這是什麼
Generative AI Examples (GenAIExamples) 是一個生成式 AI 範例集合,包含 ChatQnA、Copilot 等範例,展示 Open Platform for Enterprise AI (OPEA) 專案的管線能力。它旨在為開發者提供進入生成式 AI 的簡易途徑,提供基於微服務的範例,簡化 GenAI 應用程式的部署、測試與擴展。所有範例皆相容於 Docker 與 Kubernetes,並支援多種硬體平台,包括 Gaudi、Xeon、AMD EPYC CPU、AMD Instinct GPU 以及 NVIDIA GPU。
主要功能
- 基於微服務的架構,使用 GenAIComps 提供的元件(如 llm、embedding、reranking)。
- 支援多種部署方式:Python 啟動、Docker Compose 與 Kubernetes。
- 相容於多種硬體:Gaudi、Xeon、AMD EPYC、AMD Instinct、NVIDIA GPU。
- 包含 GenAIInfra 用於雲端原生部署,以及 GenAIEval 用於效能測量(吞吐量、延遲、準確度)。
- 涵蓋使用案例:ChatQnA、VisualQnA、Text2Image、DocSum、CodeGen、DocIndexRetriever、InstructionTuning。
使用情境
- 問答:ChatQnA(具備 RAG 的聊天機器人)、VisualQnA(視覺問答)。
- 影像生成:Text2Image(文字轉影像生成)。
- 內容摘要:DocSum(文件摘要應用程式)。
- 程式碼生成:CodeGen(AI 驅動的程式碼產生器)。
- 資訊檢索:DocIndexRetriever(具備 RAG 的文件檢索)。
- 微調:InstructionTuning(指令微調應用程式)。
快速開始
請參閱儲存庫 README 以取得安裝與快速啟動指令。
授權與價格
採用 Apache-2.0 授權。開源免費。
內容整理自該專案公開的 README 與儲存庫資訊。