为什么语言、Emoji 和 JSON 会改变 Token 数量

先区分三种单位

Unicode 码点描述文本，UTF-8 字节描述存储，而 Token 描述特定词表如何表示输入。一个肉眼可见的 Emoji 可能由多个码点组成；一个码点也可能占多个字节或 Token。

英语中“约四个字符一个 Token”的经验不能直接用于多语言预算。应该用实际编码测量真实提示词。

保持输入不变再比较

载入“多语言与 Emoji”，点击“比较两种编码”。两次计数来自完全相同的文本。再换成真实的西语、日语、韩语或中文提示词，不要假设不同样本具有固定比例。

JSON 会增加键名、引号、标点与空白。对比格式化对象和紧凑对象：减少空白会减少字节，但 Token 的变化取决于编码和上下文，仍然需要实测。

import { encode } from 'gpt-tokenizer/encoding/cl100k_base';
// npm install gpt-tokenizer@4.1.0
const samples = [
  'Hello, world!', '你好，世界！',
  '¡Hola, mundo!', 'こんにちは、世界！',
  '안녕하세요, 세계!', '👨‍👩‍👧‍👦'
];
for (const text of samples) {
  const ids = encode(text);
  console.log(text, ids.length);
}

优化意义，不只优化外观

先移除不需要的字段、重复文档和无关历史，保留任务约束与证据。看起来更短不一定 Token 更少，Token 更少也不保证回答质量相同。

维护一组多语言回归样本，提示词修改后同时评估计数与任务正确性。不要把这两种编码当作其他模型分词器的精确计数器。