LLM Token 计数器：在浏览器里把文本切成模型看到的 token 序列，实时显示数量、上下文占用比、分词可视化和按当前单价估算的调用费用。
大语言模型不是按「字符」或「词」计价的，而是按 token——BPE 分词后的子词单位。输入一段中文「人工智能」，GPT-4o 可能切成 ['人工', '智能'] 两个 token，GPT-3.5 可能切成 4 个以上，直接影响费用和是否超上下文。
| 分词器 | 词表 | 使用模型 | 精度 |
|---|---|---|---|
o200k_base | ≈200k | GPT-4o / 4.1 / 5 / o3 / o4-mini | 精确 |
cl100k_base | ≈100k | GPT-4 / GPT-3.5 | 精确 |
| Llama 3 (HF) | 128k | Llama 3 70B | 精确（来自官方 tokenizer.json） |
| DeepSeek V3 (HF) | ≈128k | DeepSeek V3 | 精确（来自官方 tokenizer.json） |
cl100k_base（近似） | ≈100k | Claude、Gemini（标「估」） | 仅量级参考，Token ID 已禁用 |
按 2025 年官网定价预置，可在 UI 里手动改并持久化，以应对厂商调价。各家输出单价是输入的 3–5 倍（Claude Opus 甚至 5 倍），输出量直接决定账单。
文本、价格、设置都不出浏览器。首次选某个分词器会懒加载对应数据（GPT 系 1–2 MB，Llama 3 ≈ 9 MB，DeepSeek V3 ≈ 8 MB），之后浏览器缓存，断网也能用。
精确（token 数和 token ID 都与官方 API 一致）：GPT 全系（o200k_base / cl100k_base via gpt-tokenizer）、DeepSeek V3（来自 deepseek-ai/DeepSeek-V3 的官方 tokenizer.json）、Llama 3（来自 meta-llama/Meta-Llama-3-8B 的官方 tokenizer.json）。估算（标「估」）：Claude Opus/Sonnet/Haiku、Gemini 2.5 Pro/Flash——这两家没公开官方分词器，本地用 cl100k_base 近似，英文误差 ±5–10%，中文 ±10–20%。估算模型的 Token ID 模式已禁用（ID 对应不上真实值，展示没意义），要精确数字调 Anthropic count_tokens 或 Gemini countTokens API。
GPT-4o 改用了 o200k_base 编码（词表约 20 万），GPT-4 / GPT-3.5 用 cl100k_base（约 10 万）。新编码对中文、日文、代码切得更高效，同一段中文在 GPT-4o 上 token 数通常只有 GPT-4 的 60–70%。上下文窗口同为 128k 时，GPT-4o 实际能塞更多内容。
英文约 4 字符 / token，中文约 0.6 字符 / token（一个汉字通常 1–2 tokens，新编码上常见字压到 1 token）。代码、URL、JSON 介于两者之间。具体看页面上的「字符 / token」实时比值最准——不同文本差异很大，空白密集的代码可能 1 字符 ≈ 0.3 token，纯中文古文可能 1 字符 ≈ 2 tokens。
绝大多数模型输出单价是输入的 3–5 倍（Opus 甚至 5 倍），输出量直接决定账单。比值按任务类型估：翻译/改写 ≈ 1.0，摘要 ≈ 0.1–0.3，扩写/生成 ≈ 1.5–3，问答 ≈ 0.3–0.8。没底的话从 1.0 起，跑几次实测后再调。
对。Chat Completions 每条消息会加 <|im_start|>role\\nCONTENT<|im_end|> 这类控制 token，系统侧大约每条 +3–7 tokens，一次调用里还有 prompt 级别的固定开销。本工具只算纯文本内容的 token，不含 role 标记和消息结构开销。粗略估计：最终账单 ≈ 本工具显示值 + 消息数 × 5。
不会。分词完全在浏览器里：GPT 系用 gpt-tokenizer，DeepSeek/Llama 3 用 @lenml/tokenizers + 官方 tokenizer.json。文本不出你的电脑。首次选某个模型时会按需下载对应数据（cl100k_base ≈ 1 MB，o200k_base ≈ 2 MB，Llama 3 ≈ 9 MB，DeepSeek V3 ≈ 8 MB），之后浏览器缓存，断网也能用。价格单价和设置保存在 localStorage。
BPE 分词把「词 + 前导空格」当成一个整体 token，所以 Hello 和 Hello 是不同的 token。这是为了让模型区分「句首」和「句中」同一个词。中文没有空格分隔，所以基本不会出现这种现象。