web-llm

高效能的浏览器内LLM推理引擎

web-llm 是什麼?

高效能的浏览器内LLM推理引擎”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”}”

web-llm 概覽

這是什麼

WebLLM 是一個高效能的瀏覽器內 LLM 推理引擎,利用 WebGPU 硬體加速直接在網頁瀏覽器中執行語言模型推理。它不需要伺服器支援,且完全相容於 OpenAI API,讓您可以在本地端對開源模型使用相同的 API。WebLLM 是 MLC LLM 的配套專案。

主要功能

  • 瀏覽器內推理,透過 WebGPU 加速,無需伺服器端處理即可執行 LLM 操作。
  • 完整的 OpenAI API 相容性,支援串流、JSON 模式、logit 層級控制、種子設定等功能。
  • 結構化 JSON 生成,支援自訂 JSON 綱要,實作於模型函式庫的 WebAssembly 部分。
  • 原生支援多種模型,包括 Llama 3、Phi 3、Gemma、Mistral、Qwen 等。
  • 自訂模型整合,可部署 MLC 格式的使用者自訂模型。
  • 串流與即時互動,支援聊天補全的即時輸出。
  • Web Worker 與 Service Worker 支援,可將計算卸載至獨立執行緒並管理模型生命週期。

使用情境

建立完全在瀏覽器中執行的 AI 助手與聊天機器人,實現注重隱私的 AI 應用。需要格式化輸出的結構化 JSON 生成應用。利用 LLM 能力的 Chrome 擴充功能。即時互動應用,例如虛擬助理。

快速開始

透過套件管理員安裝: sh npm install @mlc-ai/web-llm # 或 yarn add @mlc-ai/web-llm # 或 pnpm install @mlc-ai/web-llm 或透過 CDN 匯入: javascript import * as webllm from 'https://esm.run/@mlc-ai/web-llm'; 建立 MLCEngine 實例並載入模型: typescript import { CreateMLCEngine } from '@mlc-ai/web-llm'; const engine = await CreateMLCEngine('Llama-3.1-8B-Instruct-q4f32_1-MLC', { initProgressCallback: (progress) => console.log(progress), }); 注意:載入模型需要下載,首次執行可能耗費較長時間。

授權與價格

採用 Apache 2.0 授權。開放原始碼。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/mlc-aiweb-llm.svg)](https://yunodb.com/tools/mlc-aiweb-llm?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/mlc-aiweb-llm?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/mlc-aiweb-llm.svg" alt="Featured on YunoDB" height="20"></a>