Sampling 实验：从 logits 到 Token
用可复现的本地分布测试 temperature、top-k 与 nucleus sampling。
学习指南与本课目录
LEARNING CONTRACT理解 → 实现 → 研究
目标：解释本课机制、复现一个例子、测试一个失败案例。读完不自动代表掌握。
- 理解层：写明假设、形状/单位和一个反例。
- 实现层：复算数值例子并检查边界。
- 研究层：在匹配预算下比较一个替代方法。
01设置参数
02填入输入
设置参数、载入示例，或粘贴自己的输入。
03查看结果
设置参数、载入示例，或粘贴自己的输入。
页面可能仅展示部分内容；导出的 JSON 报告包含全部计算结果。
如何理解结果
CSV 列为 token,logit，标签非空且唯一，logit 为 −10,000 到 10,000 的有限数。先应用 temperature，再做 top-k、top-p，每步过滤后重新归一化。temperature 为 0 时使用贪心选择，同分按输入顺序。频率来自固定种子的分类采样，不是真实语言模型。最多 100 个候选、10,000 次采样。
方法参考
假设、参考实现与验收
过滤顺序为温度、top-k、top-p，再归一化。熵单位 bits；零温度明确采用贪心，随机采样依赖种子。
已复核计数单位、统计假设及数值例子；提供商计费和真实 GPU 分配仍须实测。
运行前：预测一个边界情况
过滤顺序为温度、top-k、top-p，再归一化。熵单位 bits；零温度明确采用贪心，随机采样依赖种子。
提示：隔离假设
固定基线输入，只改变一个参数或边界；同时比较数值与声明单位。单例通过仅验证该样例。
最小可运行算例
将算例及所链接模块保存在同一目录。使用 Node.js 22 或更高版本，然后运行 node sampling-lab.mjs. npm install gpt-tokenizer@4.1.0
import {encode as rawEncode} from 'gpt-tokenizer/encoding/cl100k_base';
import {promptDiff,inspectDataset,chunkDocument,compareScores,estimateVRAM,samplingLab,speculativeLab} from './research-core.mjs';
const encode=s=>rawEncode(s,{disallowedSpecial:new Set()});
const result=samplingLab('token,logit\na,0\nb,0',1,0,1,10000,42);
console.log(result.entropy); // 1 bit; observed frequencies only approximate 0.5测试与迁移
过滤顺序为温度、top-k、top-p，再归一化。熵单位 bits；零温度明确采用贪心，随机采样依赖种子。
在下方笔记记录输入、代码版本、期望值和实测值；再构造违反上述假设的反例，解释原结论为何不再成立。
下载完整代码包（.tar.gz） · 完整参考代码与回归检查预测、检验与证据记录
展开答案前先预测一个结果；练习后记录差异和迁移测试。记录仅存本地，在不同语言版本间共用。
打开记录／导出／清除 →数学复核范围逐篇记录，不代表完成论文实证复现；可在笔记中记录疑似错误。 复核范围