rig

⚙️🦀 使用 Rust 構建模組化且可擴展的 LLM 應用程式

rig 是什麼?

⚙️🦀 使用 Rust 構建模組化且可擴展的 LLM 應用程式

rig 概覽

這是什麼

Rig 是一個用 Rust 建構 LLM 應用程式的函式庫,以及一個基於它建構、可透過 Bevy 外掛程式擴充的終端機編碼代理。該函式庫提供與供應商無關的介面,用於完成、嵌入、轉錄、音訊和影像生成,以及支援工具、多輪串流和型別化鉤子的代理。編碼代理是一個 Bevy 應用程式,其中的工具、指令、工作階段、登入和終端機檢視都是可以透過 settings.toml 開啟或關閉的外掛程式。

主要功能

  • 20 多個模型供應商和 10 多個向量儲存,全部在一個介面下
  • 支援工具、多輪串流和型別化鉤子的代理
  • 完成、嵌入、轉錄、音訊和影像生成
  • 用於 OpenTelemetry 的 GenAI 語意慣例
  • 錄製和重播代理的效果(rig-cassette)
  • 核心和代理執行時期支援瀏覽器 WASM(wasm32-unknown-unknown)
  • 編碼代理可以自行重建:/reload 會使用您的外掛程式 crate 重建代理並在同一個工作階段中重新啟動,如果新版本無法編譯,則會保留舊版本的執行

使用情境

在 Rust 中建構模組化且可擴充的 LLM 應用程式。該函式庫可用於建立使用工具、執行多輪對話以及與各種模型供應商和向量儲存整合的代理。編碼代理可用作基於終端機的助手,可透過自訂外掛程式進行擴充,並且可以使用 rig -p --json 或 rig --json 透過管道進行腳本化操作。

快速開始

安裝編碼代理:bashcargo install rig-clirig將函式庫加入專案:bashcargo add rig更多詳細資訊請參閱儲存庫的 README。

授權與價格

Rig 採用 MIT 授權。它是開源軟體,沒有標明價格。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/0xplaygroundsrig.svg)](https://yunodb.com/tools/0xplaygroundsrig?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/0xplaygroundsrig?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/0xplaygroundsrig.svg" alt="Featured on YunoDB" height="20"></a>