Tiktoken

高效能 .NET BPE 標記器：每秒最高 618 MiB，可與 Rust 匹敵。零配置計數、多語言快取、支援 o200k/cl100k/r50k/p50k 編碼 + H

Tiktoken 是什麼？

高效能 .NET BPE 標記器：每秒最高 618 MiB，可與 Rust 匹敵。零配置計數、多語言快取、支援 o200k/cl100k/r50k/p50k 編碼及 HuggingFace tokenizer.json。