gpt-tokenizer
OpenAI GPT 模型（gpt-5、gpt-o*、gpt-4o 等）最快速的 JavaScript BPE Tokenizer 編碼解碼器。基於 OpenAI tiktoken 移植並加入額外功能。
gpt-tokenizer 是什麼？
OpenAI GPT 模型（gpt-5、gpt-o*、gpt-4o 等）最快速的 JavaScript BPE Tokenizer 編碼解碼器。基於 OpenAI tiktoken 移植並加入額外功能。
gpt-tokenizer 概覽
這是什麼
gpt-tokenizer 是一個 TypeScript 實作的位元組對編碼/解碼器，支援所有 OpenAI 模型家族，包括 GPT-5、GPT-4.1、GPT-4o、o 系列推理模型、gpt-oss、即時與音訊模型，以及舊版 GPT-2/3/4 模型。它是 OpenAI tiktoken 的移植版本，並加入額外功能。根據專案在 Node 26 / o200k_base 的基準測試，它是速度最快、記憶體佔用最低的純 JavaScript GPT tokenizer。此函式庫已獲得 Microsoft（Teams、GenAIScript）、Elastic（Kibana）、Effect TS、CodeRabbit 與 Rivet by Ironclad 的信賴。
主要功能
- 支援透過
encodeChat函式輕鬆對聊天內容進行 token 化 - 支援所有目前 OpenAI 模型，包括 GPT-5、GPT-4.1、GPT-4o、o1/o3/o4、gpt-oss、即時、音訊、轉錄、影像與影片模型 - 所有 OpenAI 編碼：r50k_base、p50k_base、p50k_edit、cl100k_base、o200k_base與o200k_harmony - 可同步載入與運作（即無需 async/await 環境） - 提供解碼器與編碼器的生成器（Generator）函式版本 - 支援非同步資料串流的解碼（使用
decodeAsyncGenerator與decodeGenerator，可接受任何可迭代輸入） - 包含高效能的isWithinTokenLimit函式，可在不編碼完整文字/聊天內容的情況下評估 token 限制
使用情境
對 OpenAI 模型的文字與聊天訊息進行 token 化、使用內建 estimateCost 函式估算 token 數量與 API 成本、解碼模型輸出，以及檢查輸入是否在模型的 token 限制內。
快速開始
bash npm install gpt-tokenizer
授權與價格
MIT 授權，開源。
內容整理自該專案公開的 README 與儲存庫資訊。
