Token Lab搜索

← 返回工具
仅本地处理 · 不调用模型

少一点排错,多一点发现。

为 AI 工程师、研究者和博士生准备的七款本地工具:检查数据、对比实验,并在明确假设下验证采样与解码方案。

分词工作台 · 上下文预算 · 请求检查 →

01

Prompt 差异与 Token 变化

逐行对比两个版本,测量 Token 和 UTF-8 字节的增减。

打开工具 →
02

JSONL 数据集检查

定位坏行、重复样本、超长输入及训练集与验证集的精确重叠。

打开工具 →
03

RAG 分块实验室

观察 Unicode 安全的分块边界、重叠范围与真实文本 Token 数。

打开工具 →
04

配对评测结果对比

对相同样本上的两个系统进行比较,计算可复现的 bootstrap 区间。

打开工具 →
05

GPU 显存估算

在启动实验前拆解权重、KV cache 与全量训练状态的显存预算。

打开工具 →
06

Sampling 实验:从 logits 到 Token

用可复现的本地分布测试 temperature、top-k 与 nucleus sampling。

打开工具 →
07

Speculative Decoding 实验

在明确的接受率与延迟假设下,验证草稿模型什么时候加速、什么时候拖慢。

打开工具 →