rig
⚙️🦀 使用 Rust 構建模組化且可擴展的 LLM 應用程式
rig 是什麼?
⚙️🦀 使用 Rust 構建模組化且可擴展的 LLM 應用程式
rig 概覽
這是什麼
Rig 是一個用 Rust 建構 LLM 應用程式的函式庫,以及一個基於它建構、可透過 Bevy 外掛程式擴充的終端機編碼代理。該函式庫提供與供應商無關的介面,用於完成、嵌入、轉錄、音訊和影像生成,以及支援工具、多輪串流和型別化鉤子的代理。編碼代理是一個 Bevy 應用程式,其中的工具、指令、工作階段、登入和終端機檢視都是可以透過 settings.toml 開啟或關閉的外掛程式。
主要功能
- 20 多個模型供應商和 10 多個向量儲存,全部在一個介面下
- 支援工具、多輪串流和型別化鉤子的代理
- 完成、嵌入、轉錄、音訊和影像生成
- 用於 OpenTelemetry 的 GenAI 語意慣例
- 錄製和重播代理的效果(
rig-cassette) - 核心和代理執行時期支援瀏覽器 WASM(
wasm32-unknown-unknown) - 編碼代理可以自行重建:
/reload會使用您的外掛程式 crate 重建代理並在同一個工作階段中重新啟動,如果新版本無法編譯,則會保留舊版本的執行
使用情境
在 Rust 中建構模組化且可擴充的 LLM 應用程式。該函式庫可用於建立使用工具、執行多輪對話以及與各種模型供應商和向量儲存整合的代理。編碼代理可用作基於終端機的助手,可透過自訂外掛程式進行擴充,並且可以使用 rig -p --json 或 rig --json 透過管道進行腳本化操作。
快速開始
安裝編碼代理:bashcargo install rig-clirig將函式庫加入專案:bashcargo add rig更多詳細資訊請參閱儲存庫的 README。
授權與價格
Rig 採用 MIT 授權。它是開源軟體,沒有標明價格。
內容整理自該專案公開的 README 與儲存庫資訊。