1. 为什么不能把一次训练的 1000 个评测样本当成 1000 个种子？
查看参考答案与评分要点
这些样本没有覆盖独立的训练随机性，抽样单位必须对应所估计的不确定性。
实验设计与统计证据
分析配对运行均值、不确定性和预先声明的实际改进阈值。
本地计算与合成示例，不调用付费 API，不代表真实大模型基准。学习指南与本课目录
LEARNING CONTRACT理解 → 实现 → 研究
目标：解释本课机制、复现一个例子、测试一个失败案例。读完不自动代表掌握。
- 理解层：写明假设、形状/单位和一个反例。
- 实现层：复算数值例子并检查边界。
- 研究层：在匹配预算下比较一个替代方法。
01 · 理解与推导
前置知识 · 均值、方差、独立样本单位与配对比较。
只有共享有意义的实验单位时才进行配对。重采样整对数据以保留协方差。此处每行代表独立运行或种子均值，而不是同一次运行中的每个样本。区间需要与预先指定的实际阈值比较。
Text / 原始公式
dᵢ = Bᵢ − Aᵢ (reverse sign for lower-is-better) Δ = mean(dᵢ) Resample n pairs with replacement, 2000 times CI = [percentile₂.₅, percentile₉₇.₅]
逐步推导与研究解释
- 先定义估计目标：跨独立训练运行的均值提升，不同于跨评测样本的不确定性。重采样单位必须匹配结论。
- 配对运行满足
,B)。重采样整对以保留关系，但有配对 ID 并不代表配对在科学上合理。 - 区分实际效应大小、区间不确定性与假设检验。工具提供百分位区间，不是 p 值，也不校正反复选择最佳实验造成的偏差。
常见误区：窄区间不能防止数据泄漏、相关种子、选择性评测或不公平调参预算。
02 · 检查知识掌握
配对提升为 [0.02,0.04,0.03]，均值提升是多少（指标原单位）？
查看推导
(0.02+0.04+0.03)/3 = 0.03; for accuracy this is 3 percentage points
03 · 运行对照实验
实验任务
分析示例，反转指标方向，并重复种子 ID 观察校验。再比较均值提升相同但噪声更大的数据，解释为什么不能只报告均值。
可执行的对照实验流程
- 默认五对数据均值提升为 0.026；固定 bootstrap 种子得到约 [0.018,0.034]，先保持阈值 0.01。
- 改为阈值 0.03 观察无法确定的比较。这是教学敏感性检查；真实研究应预先声明阈值，而非看结果后移动。
- 构造均值差相同但离散更大的第二组数据，解释区间变化、种子数量限制以及重复 ID 被拒绝的原因。
交付物：输入配置、结果导出、控制变量说明、观察结果、替代解释及下一步验证。
查看提示
区间跨过阈值时，按本规则无法确定。区间高于阈值也只是依赖采样假设的证据，不证明因果关系或没有泄漏。
04 · 检查证据
运行实验后查看证据。
仅比较控制变量后的运行结果，导出包含输入与方法。
05 · 解释研究判断
自评要点：解释机制、识别假设、提出可区分不同解释的实验。不使用 LLM 自动评分。
2. 为什么预先声明实际改进阈值？
查看参考答案与评分要点
看完结果再选择阈值容易导致选择性结论，阈值应由任务和部署代价决定。
3. 可信的消融还应控制什么？
查看参考答案与评分要点
数据与划分、训练和调参预算、评测协议、种子配对及报告检查点的选择。
假设与限制
95% 配对百分位 bootstrap，2000 次重采样，最多 200 行。小样本和恒定差值可能误导。本工具不做多重检验校正、功效计算或自动因果推断。
参考资料
arXiv:1709.06560 · 2017
Deep Reinforcement Learning that Matters
Henderson et al. · 年份为首次 arXiv 投稿年份
建议阅读：实验变异来源与报告建议。
读后自测：区分随机性、实现差异与调参差异。借鉴实验控制方法，不直接把 RL 数值结果套用到 LLM。
BibTeX
@misc{arxiv170906560,
title = {Deep Reinforcement Learning that Matters},
year = {2017},
eprint = {1709.06560},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/1709.06560}
}arXiv:1909.03004 · 2019
Show Your Work: Improved Reporting of Experimental Results
Dodge et al. · 年份为首次 arXiv 投稿年份
建议阅读：给定计算预算下的期望验证表现与模型选择。
读后自测：最终分数旁同时报告搜索空间、试验次数和选择规则。
BibTeX
@misc{arxiv190903004,
title = {Show Your Work: Improved Reporting of Experimental Results},
year = {2019},
eprint = {1909.03004},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/1909.03004}
}假设、参考实现与验收
95% 配对百分位 bootstrap，2000 次重采样，最多 200 行。小样本和恒定差值可能误导。本工具不做多重检验校正、功效计算或自动因果推断。
已复核目标、导数、算例及实现。通过有限差分或清单检查不代表完成论文复现。
运行前：预测一个边界情况
分析示例，反转指标方向，并重复种子 ID 观察校验。再比较均值提升相同但噪声更大的数据，解释为什么不能只报告均值。
提示：隔离假设
固定基线输入，只改变一个参数或边界；同时比较数值与声明单位。单例通过仅验证该样例。
最小可运行算例
将算例及所链接模块保存在同一目录。使用 Node.js 22 或更高版本，然后运行 node experiment-design.mjs. 无需第三方运行依赖。
import {runPhd} from './phd-core.mjs';
const params={
"csv": "id,a,b\n1,0.72,0.75\n2,0.74,0.76\n3,0.71,0.75\n4,0.75,0.76\n5,0.73,0.76",
"direction": "higher",
"threshold": 0.01,
"seed": 42
};
console.log(runPhd('experiment-design',params));测试与迁移
分析示例，反转指标方向，并重复种子 ID 观察校验。再比较均值提升相同但噪声更大的数据，解释为什么不能只报告均值。
在下方笔记记录输入、代码版本、期望值和实测值；再构造违反上述假设的反例，解释原结论为何不再成立。
下载完整代码包（.tar.gz） · 完整参考代码与回归检查预测、检验与证据记录
展开答案前先预测一个结果；练习后记录差异和迁移测试。记录仅存本地，在不同语言版本间共用。
打开记录／导出／清除 →数学复核范围逐篇记录，不代表完成论文实证复现；可在笔记中记录疑似错误。 复核范围