genai-processors

GenAI Processors 是一個輕量級 Python 函式庫,可實現高效能的平行內容處理。

genai-processors 是什麼?

GenAI Processors 是一個輕量級 Python 函式庫,可實現高效能的平行內容處理。

genai-processors 概覽

這是什麼

GenAI Processors 是一個輕量級的 Python 函式庫,能夠實現高效、並行的內容處理。它提供了一個框架,用於建立模組化、非同步且可組合的生成式 AI 管道。該函式庫透過三個核心支柱來解決 LLM API 的碎片化問題:統一的內容模型以實現一致的輸入/輸出表示、可組合的 Processor Python 類別(使用原生 asyncio 轉換內容串流),以及內建的非同步串流功能。

主要功能

  • 模組化:將複雜任務分解為可重複使用的 Processor 和 PartProcessor 單元,可透過鏈接(+)或並行化(//)建立複雜的資料流。
  • 與 GenAI API 整合:包含即用型處理器,例如用於回合制 API 呼叫的 GenaiModel 和用於即時串流互動的 LiveProcessor。
  • 可擴展:允許透過繼承基礎類別或使用簡單的函式裝飾器來建立自訂處理器。
  • 豐富的內容處理:ProcessorPart 包裝了 genai.types.Part,並附帶 MIME 類型、角色和自訂屬性等元資料;支援文字、圖片、音訊和自訂 JSON。
  • 非同步與並行:基於 Python 的 asyncio 框架來協調並行任務,包括網路 I/O 和與計算密集型子執行緒的通訊。
  • 串流管理:提供用於分割、串接和合併 ProcessorPart 非同步串流的工具。

使用情境

  • 建立即時音訊輸入/輸出的即時代理,並搭配 Google 搜尋等工具,如即時範例所示。
  • 建立由多個子處理器、鏈接和自訂 ProcessorPart 組成的研究代理,如研究代理範例所示。
  • 使用 Gemini Live API 開發即時評論代理,包含事件偵測和對話管理的獨立代理,如即時評論範例所示。
  • 一般的並行內容處理和生成式 AI 工作流程的編排。

快速開始

此函式庫需要 Python 3.10 或更高版本。使用以下指令安裝:

pip install genai-processors

如需詳細指南,請參閱文件微型網站及儲存庫 README 中列出的入門 Colab 筆記本。

授權與價格

本專案採用 Apache License 2.0 授權。它是開放原始碼且免費使用。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/google-geminigenai-processors.svg)](https://yunodb.com/tools/google-geminigenai-processors?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/google-geminigenai-processors?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/google-geminigenai-processors.svg" alt="Featured on YunoDB" height="20"></a>