web-llm
高效能的浏览器内LLM推理引擎
web-llm 是什麼?
高效能的浏览器内LLM推理引擎”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”
web-llm 概覽
這是什麼
WebLLM 是一個高效能的瀏覽器內 LLM 推理引擎,利用 WebGPU 硬體加速直接在網頁瀏覽器中執行語言模型推理。它不需要伺服器支援,且完全相容於 OpenAI API,讓您可以在本地端對開源模型使用相同的 API。WebLLM 是 MLC LLM 的配套專案。
主要功能
- 瀏覽器內推理,透過 WebGPU 加速,無需伺服器端處理即可執行 LLM 操作。
- 完整的 OpenAI API 相容性,支援串流、JSON 模式、logit 層級控制、種子設定等功能。
- 結構化 JSON 生成,支援自訂 JSON 綱要,實作於模型函式庫的 WebAssembly 部分。
- 原生支援多種模型,包括 Llama 3、Phi 3、Gemma、Mistral、Qwen 等。
- 自訂模型整合,可部署 MLC 格式的使用者自訂模型。
- 串流與即時互動,支援聊天補全的即時輸出。
- Web Worker 與 Service Worker 支援,可將計算卸載至獨立執行緒並管理模型生命週期。
使用情境
建立完全在瀏覽器中執行的 AI 助手與聊天機器人,實現注重隱私的 AI 應用。需要格式化輸出的結構化 JSON 生成應用。利用 LLM 能力的 Chrome 擴充功能。即時互動應用,例如虛擬助理。
快速開始
透過套件管理員安裝: sh npm install @mlc-ai/web-llm # 或 yarn add @mlc-ai/web-llm # 或 pnpm install @mlc-ai/web-llm 或透過 CDN 匯入: javascript import * as webllm from 'https://esm.run/@mlc-ai/web-llm'; 建立 MLCEngine 實例並載入模型: typescript import { CreateMLCEngine } from '@mlc-ai/web-llm'; const engine = await CreateMLCEngine('Llama-3.1-8B-Instruct-q4f32_1-MLC', { initProgressCallback: (progress) => console.log(progress), }); 注意:載入模型需要下載,首次執行可能耗費較長時間。
授權與價格
採用 Apache 2.0 授權。開放原始碼。
內容整理自該專案公開的 README 與儲存庫資訊。