分词工作台

粘贴提示词、代码或多语言文本，输入时自动更新计数。

01选择编码与示例

编码

试一试

需要分词的文本

—UTF-8 · 最多 100,000 个 UTF-16 代码单元

每个色块代表一个 Token，点击查看 ID 与解码片段。

空格 → · 换行 → ↵显示 Token ID

Token 总数—只计算编码后的文本

字符 / Token—按 Unicode 码点计算，而非视觉字符

UTF-8 字节—字节和 Token 是不同的度量

选中的 Token点击色块 ↗探索文本与 Token ID 的映射

单个 Token 可能只包含部分 UTF-8 字节，单独解码时显示 �；完整序列可还原文本。可视区最多显示 2,000 个 Token，计数与导出包含全部内容。

就绪 · 仅文本 Token，不含 API 消息封装开销。

逐段填入输入，预留输出空间，再查看占用最多的部分。

上下文上限（自定义）预留输出 Token消息 / 工具 / 其他开销（估算）

各段独立编码后求和。实际请求还包含分隔符、消息模板、工具与多模态内容。请确认目标模型限制，并与 API usage 对照。

粘贴 JSON → 检查字段大小 → 在本地解码与预览内嵌媒体。

最多 12 MiB UTF-8 · 不自动加载外部 URL

粘贴完整 JSON 请求，或载入可运行的媒体示例。

字段大小按序列化 JSON 值的 UTF-8 字节计算，父子字段不可重复相加。Base64 约增加三分之一体积。媒体字节大小不等于模型媒体 Token。