Token 与 Tokenizer：从文本到模型输入

Token 不是单词

语言模型接收的是 Token ID，而不是直接接收一串单词。Tokenizer 按词表与编码规则把文本映射成整数。常用词可能只占一个 Token，陌生名称可能被拆成多个；空格、标点与换行也参与编码。

BPE 使用训练得到的合并规则构造子词单元。可视化片段是一种调试视图，不等同于语言学意义上的分词。

运行可复现的例子

选择 cl100k_base，准确输入 Hello, world!，保留逗号与空格。结果是 4 个 ID：9906、11、1917、0。点击色块查看对应片段，再删除逗号或改变大小写，比较序列如何变化。

切换为 o200k_base 后，词表改变，ID 或计数也可能改变。ID 只有结合编码才有意义，因此导出时应同时保留编码名称与 ID。

import { encode, decode } from
  'gpt-tokenizer/encoding/cl100k_base';

const text = 'Hello, world!';
const ids = encode(text);
// [9906, 11, 1917, 0]
console.log(ids.length); // 4
console.log(decode(ids) === text); // true

接入应用前如何验证

对完整序列解码，并与原文比较。单个 Token 可能截断一个 UTF-8 字符，所以单独显示为替换字符；这不意味着完整序列无法还原。

本工具计算文本编码，不模拟完整 API 请求。角色标记、工具定义、媒体等都可能增加 usage。将本地结果与 API 返回的实际用量对照，再决定预算和计费逻辑。