Show Your Work：比较搜索预算，而不只比较赢家
更好的最佳分数可能来自更多尝试；把选择过程也作为结果展示。
Show Your Work: Improved Reporting of Experimental Results · Dodge et al. · arXiv:1909.03004
Token Lab 原创学习解读 · 来源核对 2026-10-25 · 区分论文主张与合成教学例子。
01 · 论文提出了什么
论文提出按计算预算报告预期最佳验证表现，展示了模型比较可能随搜索预算改变，并主张在最终测试结果旁报告开发阶段证据。
一手来源：论文摘要 ↗学习指南与本课目录
LEARNING CONTRACT理解 → 实现 → 研究
目标：解释本课机制、复现一个例子、测试一个失败案例。读完不自动代表掌握。
- 理解层：写明假设、形状/单位和一个反例。
- 实现层：复算数值例子并检查边界。
- 研究层：在匹配预算下比较一个替代方法。
02 · 核心机制
Text / 原始公式
For IID trial scores with common CDF F(s): P(max(S₁,…,Sₙ) ≤ s)=F(s)ⁿ Toy two-outcome search: E[bestₙ]=a+(b−a)[1−(1−p)ⁿ]
选最大值是实验者执行的操作。即使算法不变，更多试验也提高找到有利设置的机会。预算单位很重要：十次便宜试验与十次昂贵试验不等于相同计算量。验证集用于选择，最终测试集不应变成新的搜索场。
符号与直觉为教学解释，完整假设及实现细节请对照原论文方法。
机制图与逐步推导
| 符号 | 含义 |
|---|---|
| F(s) | 单次试验分数的分布函数 |
| n | 玩具模型中独立搜索次数 |
| p | 一次试验获得高分的概率 |
- 最大值不超过 s 等价于每次试验都不超过 s。在独立同分布假设下，将 n 个概率相乘得到 F(s)ⁿ。
- 单次成功概率 10% 时，十次全失败概率为 0.9¹⁰≈0.348678，至少一次成功概率为 0.651322。
- 低高分为 0.7 和 0.9 时，预期最佳值为 0.7+0.2×0.651322≈0.830264，即使算法完全不变也会出现该提升。
同时比较试验次数和实际计算时间，自适应搜索不自动满足独立试验推导。
改变一个变量，解释结果为什么变。
原创教学计算，并非论文 benchmark 复现。条形在面板内相对缩放，具体数值与单位以标注为准。
04 · 手算一个例子
原创合成搜索：每次得分是 0.70 或 0.90，0.90 的概率为 10%。一次试验的预期最佳值为 0.72；十次约 0.8303；五十次约 0.8990。算法没有改进。这个独立二点模型演示选择压力，并非论文的经验估计器。
05 · 设计实验
记录每次超参数试验的验证分数、耗时、硬件和结果。在多个相同预算下比较方法，明确随机、自适应或人工搜索。只用验证集选择，再在锁定测试集评估选中 checkpoint。成本核算包含失败运行。
写出一个假设，保存配置与原始结果，提出替代解释，只报告证据支持的结论。关联实验是本地起点，不是完整论文复现。
打开关联课程／实验 →06 · 局限与审稿式追问
分析提醒：独立试验公式未必适用于自适应搜索或相关配置。历史日志可能不完整。预算曲线提高透明度，但不能消除评测泄漏，也不能使不同硬件完全可比。
一个模型能在某个预算获胜、另一个预算落后吗？
可以。稳健模型可能频繁产生好结果，另一模型则偶尔出现更高分配置。预期最佳曲线可能交叉，因此预算属于结论的一部分。
07 · 阅读原文
预期验证表现及计算预算比较。
年份采用首次 arXiv 投稿年份。未锁定版本的链接随修订变化，复现报告请记录准确版本。此处 DeepSeek-R1 明确固定为 v1。
继续学习本主题
校准：预测正确，与知道自己多大概率正确
调整温度而不改变类别排序，理解为什么一个置信度不能证明校准。
Guo et al. · arXiv:1706.04599
Deep RL that Matters：分数背后是分布
宣称改进前，先分离种子波动、实现选择和模型选择。
Henderson et al. · arXiv:1709.06560
LLM-as-a-judge：先评估评审者
区分答案偏好与正确性，观察顺序效应如何改变胜率。
Zheng et al. · arXiv:2306.05685