genai-processors
GenAI Processors 是一個輕量級 Python 函式庫,可實現高效能的平行內容處理。
genai-processors 是什麼?
GenAI Processors 是一個輕量級 Python 函式庫,可實現高效能的平行內容處理。
genai-processors 概覽
這是什麼
GenAI Processors 是一個輕量級的 Python 函式庫,能夠實現高效、並行的內容處理。它提供了一個框架,用於建立模組化、非同步且可組合的生成式 AI 管道。該函式庫透過三個核心支柱來解決 LLM API 的碎片化問題:統一的內容模型以實現一致的輸入/輸出表示、可組合的 Processor Python 類別(使用原生 asyncio 轉換內容串流),以及內建的非同步串流功能。
主要功能
- 模組化:將複雜任務分解為可重複使用的
Processor和PartProcessor單元,可透過鏈接(+)或並行化(//)建立複雜的資料流。 - 與 GenAI API 整合:包含即用型處理器,例如用於回合制 API 呼叫的
GenaiModel和用於即時串流互動的LiveProcessor。 - 可擴展:允許透過繼承基礎類別或使用簡單的函式裝飾器來建立自訂處理器。
- 豐富的內容處理:
ProcessorPart包裝了genai.types.Part,並附帶 MIME 類型、角色和自訂屬性等元資料;支援文字、圖片、音訊和自訂 JSON。 - 非同步與並行:基於 Python 的
asyncio框架來協調並行任務,包括網路 I/O 和與計算密集型子執行緒的通訊。 - 串流管理:提供用於分割、串接和合併
ProcessorPart非同步串流的工具。
使用情境
- 建立即時音訊輸入/輸出的即時代理,並搭配 Google 搜尋等工具,如即時範例所示。
- 建立由多個子處理器、鏈接和自訂
ProcessorPart組成的研究代理,如研究代理範例所示。 - 使用 Gemini Live API 開發即時評論代理,包含事件偵測和對話管理的獨立代理,如即時評論範例所示。
- 一般的並行內容處理和生成式 AI 工作流程的編排。
快速開始
此函式庫需要 Python 3.10 或更高版本。使用以下指令安裝:
pip install genai-processors
如需詳細指南,請參閱文件微型網站及儲存庫 README 中列出的入門 Colab 筆記本。
授權與價格
本專案採用 Apache License 2.0 授權。它是開放原始碼且免費使用。
內容整理自該專案公開的 README 與儲存庫資訊。