Token Lab搜索

← 全部研究工具
仅本地处理 · 不调用模型

Prompt 差异与 Token 变化

逐行对比两个版本,测量 Token 和 UTF-8 字节的增减。

学习指南与本课目录LEARNING CONTRACT

理解 → 实现 → 研究

目标:解释本课机制、复现一个例子、测试一个失败案例。读完不自动代表掌握。

01设置参数

02填入输入

设置参数、载入示例,或粘贴自己的输入。

03查看结果

设置参数、载入示例,或粘贴自己的输入。

页面可能仅展示部分内容;导出的 JSON 报告包含全部计算结果。

如何理解结果

粘贴 A、B 两个版本,差异视图保留空白,标出新增与删除行。Token 使用所选编码计算,不评价语义质量。每个版本最多 20,000 字符、500 行。

方法参考

MATHEMATICAL REVIEW · 2026-10-26

假设、参考实现与验收

行编辑数与 token 差值不同。空白影响分词;行编辑不是语义等价判断。

已复核计数单位、统计假设及数值例子;提供商计费和真实 GPU 分配仍须实测。

两份 prompt 文本 → 对齐精确文本行 → 分别计算行编辑与 token → 检查空白及模板计数边界
机制图:从上到下跟踪每次变换。

运行前:预测一个边界情况

行编辑数与 token 差值不同。空白影响分词;行编辑不是语义等价判断。

提示:隔离假设

固定基线输入,只改变一个参数或边界;同时比较数值与声明单位。单例通过仅验证该样例。

最小可运行算例

将算例及所链接模块保存在同一目录。使用 Node.js 22 或更高版本,然后运行 node prompt-diff.mjs. npm install gpt-tokenizer@4.1.0

import {encode as rawEncode} from 'gpt-tokenizer/encoding/cl100k_base';
import {promptDiff,inspectDataset,chunkDocument,compareScores,estimateVRAM,samplingLab,speculativeLab} from './research-core.mjs';
const encode=s=>rawEncode(s,{disallowedSpecial:new Set()});
const result=promptDiff('a\nb\nc','a\nx\nc',encode);
console.log([result.inserted,result.removed,result.unchanged]); // [1,1,2]

测试与迁移

行编辑数与 token 差值不同。空白影响分词;行编辑不是语义等价判断。

在下方笔记记录输入、代码版本、期望值和实测值;再构造违反上述假设的反例,解释原结论为何不再成立。

下载完整代码包(.tar.gz) · 完整参考代码与回归检查

预测、检验与证据记录

展开答案前先预测一个结果;练习后记录差异和迁移测试。记录仅存本地,在不同语言版本间共用。

打开记录/导出/清除 →

数学复核范围逐篇记录,不代表完成论文实证复现;可在笔记中记录疑似错误。 复核范围