Deep RL that Matters：分数背后是分布
宣称改进前，先分离种子波动、实现选择和模型选择。
Deep Reinforcement Learning that Matters · Henderson et al. · arXiv:1709.06560
Token Lab 原创学习解读 · 来源核对 2026-10-25 · 区分论文主张与合成教学例子。
01 · 论文提出了什么
论文调查深度强化学习中的变异与可复现性，倡导更谨慎的实验报告，展示了基线与不确定性的重要性。其 RL 数值结论不能直接移植到 LLM 实验。
一手来源：论文摘要 ↗学习指南与本课目录
LEARNING CONTRACT理解 → 实现 → 研究
目标：解释本课机制、复现一个例子、测试一个失败案例。读完不自动代表掌握。
- 理解层：写明假设、形状/单位和一个反例。
- 实现层：复算数值例子并检查边界。
- 研究层：在匹配预算下比较一个替代方法。
02 · 核心机制
Text / 原始公式
Mean effect = mean(Bᵢ−Aᵢ) SE ≈ s/√n for independent observations Var(B−A)=Var(B)+Var(A)−2Cov(A,B) Pairing is a study-design decision, not a file-format trick.
随机性不是固定一个种子后就消失的麻烦，它可能属于研究结论需要泛化的总体。更多独立运行可降低均值的不确定性，却不能修复有偏评测协议。配对需具有科学含义，才可能合理地降低方差。
符号与直觉为教学解释，完整假设及实现细节请对照原论文方法。
机制图与逐步推导
| 符号 | 含义 |
|---|---|
| 有科学配对含义的差值 | |
| s_d | 差值样本标准差 |
| n | 独立样本对数量，不是同一题重复调用数 |
- 使用差值 [1,2,3]，均值为 2，样本标准差为 1，估计标准误为 1/√3≈0.577350。
- 乘 1.96 得到示意正态半宽 1.131607。只有三对且方差未知时，正态近似很弱，不应把它当可靠小样本区间。
- bootstrap 应重采样完整独立单位。多行属于同一任务或用户时，应考虑按聚类重采样，而不是假装各行独立。
小区间可以与有偏实验同时存在；另查泄漏、选择过程与调参预算。
改变一个变量，解释结果为什么变。
原创教学计算，并非论文 benchmark 复现。条形在面板内相对缩放，具体数值与单位以标注为准。
04 · 手算一个例子
原创示例：假设运行分数独立且近似正态，观测标准差为 10。粗略正态 95% 半宽 1.96s/√n 在
05 · 设计实验
预先声明指标、运行预算与停止规则。方法间固定代码、环境、数据和评估时域。运行多个种子，保留逐次原始结果、失败与排除项。将效应量区间与实际阈值比较，并审查调参投入是否偏向一方。
写出一个假设，保存配置与原始结果，提出替代解释，只报告证据支持的结论。关联实验是本地起点，不是完整论文复现。
打开关联课程／实验 →06 · 局限与审稿式追问
分析提醒：增加种子不能校正数据泄漏、环境 bug 或挑选任务。反复查看显著性并在有利结果时停止，会改变统计过程。可复现的阴性结果可能比无法解释的获胜种子更有价值。
两种方法都只报告十个种子中的最佳值，有什么问题？
这描述的是筛选后的极值，而非典型表现。方差本身会影响被选中的最大值；若不报告完整分布和预算，选择成本也被隐藏。
07 · 阅读原文
变异来源、基线比较及报告建议。
年份采用首次 arXiv 投稿年份。未锁定版本的链接随修订变化，复现报告请记录准确版本。此处 DeepSeek-R1 明确固定为 v1。
继续学习本主题
校准：预测正确，与知道自己多大概率正确
调整温度而不改变类别排序，理解为什么一个置信度不能证明校准。
Guo et al. · arXiv:1706.04599
Show Your Work：比较搜索预算，而不只比较赢家
更好的最佳分数可能来自更多尝试；把选择过程也作为结果展示。
Dodge et al. · arXiv:1909.03004
LLM-as-a-judge：先评估评审者
区分答案偏好与正确性，观察顺序效应如何改变胜率。
Zheng et al. · arXiv:2306.05685