EdgeChains

EdgeChains.js 是全端GenAI函式庫。前端、後端、API、提示詞管理、分散式運算。所有核心提示詞與鏈結皆以宣告式方式管理

EdgeChains 是什麼?

EdgeChains.js 是個全端GenAI函式庫。涵蓋前端、後端、API、提示詞管理、分散式運算。所有核心提示詞與鏈結皆以宣告式方式管理於jsonnet(而非隱藏在類別中)

EdgeChains 概覽

這是什麼

EdgeChains.js 是一個全端 GenAI 函式庫,涵蓋前端、後端、API、提示管理與分散式運算。所有核心提示與鏈結都以 Jsonnet 宣告式管理(而非隱藏在類別中)。它建構在 Cloudflare 開發的 Honojs 與 Google 開發的 Jsonnet 之上。

主要功能

  • 單一腳本檔案:執行可上線的 GenAI 應用程式只需要一個腳本檔案與一個 Jsonnet 檔案。
  • 提示版本控制:以 Jsonnet 撰寫的提示易於版本化與差異比對。
  • 自動平行化:EdgeChains 透過 WebAssembly 執行時期自動將 LLM 鏈結與思維鏈任務平行化到 CPU、GPU 與 TPU 上。
  • 容錯性:設計為容錯,即使系統中部分請求失敗,仍能持續重試與退避。
  • 可擴展性:可用於在大量 API、提示長度與向量資料集上撰寫思維鏈應用程式。

使用情境

  • 建構需要自動平行化與容錯的思維鏈應用程式。
  • 跨多個 LLM(例如 GPT-3.5、Llama2)管理提示,以應對提示爆炸與漂移。
  • 部署可上線的 GenAI 應用程式,將提示與鏈結宣告式地置於程式碼之外(例如 S3 或 API)。
  • 透過內建的細粒度追蹤來追蹤 Token 成本並衡量提示效能。

快速開始

git clone https://github.com/arakoodev/EdgeChains/ cd EdgeChains cd JS/edgechains/examples/chat-with-pdf/ npm install # 在 secrets.jsonnet 中設定金鑰(詳見 README) npm run start 然後存取 GET 端點 http://localhost:3000/chatWithpdf?question=...。

授權與價格

EdgeChains 採用 GNU Affero General Public License v3.0(AGPL-3.0)授權,同時也提供商業授權。如需商業授權,請聯絡維護者或在 GitHub 上提出議題。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/arakoodevedgechains.svg)](https://yunodb.com/tools/arakoodevedgechains?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/arakoodevedgechains?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/arakoodevedgechains.svg" alt="Featured on YunoDB" height="20"></a>