配对评测结果对比
对相同样本上的两个系统进行比较，计算可复现的 bootstrap 区间。
学习指南与本课目录
LEARNING CONTRACT理解 → 实现 → 研究
目标：解释本课机制、复现一个例子、测试一个失败案例。读完不自动代表掌握。
- 理解层：写明假设、形状/单位和一个反例。
- 实现层：复算数值例子并检查边界。
- 研究层：在匹配预算下比较一个替代方法。
01设置参数
02填入输入
设置参数、载入示例，或粘贴自己的输入。
03查看结果
设置参数、载入示例，或粘贴自己的输入。
页面可能仅展示部分内容；导出的 JSON 报告包含全部计算结果。
如何理解结果
CSV 列为 id,a,b；ID 不得重复，分数必须为有限数值。每行必须是两个系统上的同一个样本。对配对差值进行固定种子的 2,000 次重采样，报告均值差 B−A 的 95% 百分位 bootstrap 区间。假设各行独立；重复用户或成组任务需要按组分析。这不是显著性认证或统计功效分析。最多 5,000 对。
方法参考
假设、参考实现与验收
重采样成对独立种子/运行均值，不是同一运行相关行。百分位 bootstrap 不是因果结论或 p 值；退化样例会产生零宽区间。
已复核计数单位、统计假设及数值例子；提供商计费和真实 GPU 分配仍须实测。
运行前：预测一个边界情况
重采样成对独立种子/运行均值，不是同一运行相关行。百分位 bootstrap 不是因果结论或 p 值；退化样例会产生零宽区间。
提示：隔离假设
固定基线输入，只改变一个参数或边界；同时比较数值与声明单位。单例通过仅验证该样例。
最小可运行算例
将算例及所链接模块保存在同一目录。使用 Node.js 22 或更高版本，然后运行 node eval-compare.mjs. npm install gpt-tokenizer@4.1.0
import {encode as rawEncode} from 'gpt-tokenizer/encoding/cl100k_base';
import {promptDiff,inspectDataset,chunkDocument,compareScores,estimateVRAM,samplingLab,speculativeLab} from './research-core.mjs';
const encode=s=>rawEncode(s,{disallowedSpecial:new Set()});
const result=compareScores('id,a,b\nx,1,2\ny,4,5\nz,0,1','higher',42);
console.log(result.delta,result.ci); // 1 [1,1]; degenerate fixture, not evidence of zero uncertainty in general测试与迁移
重采样成对独立种子/运行均值，不是同一运行相关行。百分位 bootstrap 不是因果结论或 p 值；退化样例会产生零宽区间。
在下方笔记记录输入、代码版本、期望值和实测值；再构造违反上述假设的反例，解释原结论为何不再成立。
下载完整代码包（.tar.gz） · 完整参考代码与回归检查预测、检验与证据记录
展开答案前先预测一个结果；练习后记录差异和迁移测试。记录仅存本地，在不同语言版本间共用。
打开记录／导出／清除 →数学复核范围逐篇记录，不代表完成论文实证复现；可在笔记中记录疑似错误。 复核范围