EdgeChains
EdgeChains.js 是全端GenAI函式庫。前端、後端、API、提示詞管理、分散式運算。所有核心提示詞與鏈結皆以宣告式方式管理
EdgeChains 是什麼?
EdgeChains.js 是個全端GenAI函式庫。涵蓋前端、後端、API、提示詞管理、分散式運算。所有核心提示詞與鏈結皆以宣告式方式管理於jsonnet(而非隱藏在類別中)
EdgeChains 概覽
這是什麼
EdgeChains.js 是一個全端 GenAI 函式庫,涵蓋前端、後端、API、提示管理與分散式運算。所有核心提示與鏈結都以 Jsonnet 宣告式管理(而非隱藏在類別中)。它建構在 Cloudflare 開發的 Honojs 與 Google 開發的 Jsonnet 之上。
主要功能
- 單一腳本檔案:執行可上線的 GenAI 應用程式只需要一個腳本檔案與一個 Jsonnet 檔案。
- 提示版本控制:以 Jsonnet 撰寫的提示易於版本化與差異比對。
- 自動平行化:EdgeChains 透過 WebAssembly 執行時期自動將 LLM 鏈結與思維鏈任務平行化到 CPU、GPU 與 TPU 上。
- 容錯性:設計為容錯,即使系統中部分請求失敗,仍能持續重試與退避。
- 可擴展性:可用於在大量 API、提示長度與向量資料集上撰寫思維鏈應用程式。
使用情境
- 建構需要自動平行化與容錯的思維鏈應用程式。
- 跨多個 LLM(例如 GPT-3.5、Llama2)管理提示,以應對提示爆炸與漂移。
- 部署可上線的 GenAI 應用程式,將提示與鏈結宣告式地置於程式碼之外(例如 S3 或 API)。
- 透過內建的細粒度追蹤來追蹤 Token 成本並衡量提示效能。
快速開始
git clone https://github.com/arakoodev/EdgeChains/ cd EdgeChains cd JS/edgechains/examples/chat-with-pdf/ npm install # 在 secrets.jsonnet 中設定金鑰(詳見 README) npm run start 然後存取 GET 端點 http://localhost:3000/chatWithpdf?question=...。
授權與價格
EdgeChains 採用 GNU Affero General Public License v3.0(AGPL-3.0)授權,同時也提供商業授權。如需商業授權,請聯絡維護者或在 GitHub 上提出議題。
內容整理自該專案公開的 README 與儲存庫資訊。