FRONTIER / RESEARCH TO PRACTICE测试时计算：搜索、验证与预算
先修：概率、评测与推理成本。理解增加尝试何时有效，以及验证器何时成为瓶颈。
学习指南与本课目录
LEARNING CONTRACT理解 → 实现 → 研究
目标：解释本课机制、复现一个例子、测试一个失败案例。读完不自动代表掌握。
- 理解层：写明假设、形状/单位和一个反例。
- 实现层：复算数值例子并检查边界。
- 研究层：在匹配预算下比较一个替代方法。
机制与假设
推理时扩展通过候选生成、修订或搜索，让固定模型使用更多计算。所引论文研究依赖问题的预算分配，而不是“token 越多越好”的普遍规则。应分离候选质量与选择质量：能识别任意正确答案的 oracle 提供上界，学习验证器未必能达到。候选相关性、奖励投机与缓慢验证可能抵消收益。统一核算生成、验证和重试；比较时除 token 外还应匹配墙钟时间。
手算例子
独立单次成功率 时， 的覆盖率为 0.5904， 为 0.83222784。这是至少存在一个正确答案的概率，不是最终选对概率。若存在正确答案时选择器仅有 80% 概率找到它，则简化模型下 的最终准确率为 0.47232。完全相关的尝试不论 N 多大，覆盖率仍为 0.2。
实现练习
在留出题集上，按 1/2/4/8 预算比较单次回答、多数投票和验证器选择。保存全部候选及分数，报告 oracle 覆盖率、选择后准确率、验证错误与延迟。提前固定难度分层，不根据隐藏测试答案追加预算。加入一个高分但误导的候选，审计奖励利用。
交付代码、固定种子、原始结果与一个反例。这里是实验规范，不是已运行的 GPU benchmark。
为什么 best-of-N 随 N 增大反而变差？
有噪声或可利用的评分器更容易选中极端评分错误。候选质量和分数校准也可能随 N 改变。应审计入选失败并独立验证评分器，搜索更多不证明更正确。
原创教学例子，来源核对于 2026 年 10 月。这些是与工程相关的基础机制，并非覆盖所有最新模型。
关联先修与后续课程 →
MATHEMATICAL REVIEW · 2026-10-26假设、参考实现与验收
C_verification(N) 是 N 个候选的总验证成本。oracle 覆盖率假设独立等成功率尝试；最终准确率还取决于验证器。
已复核公式条件、单位及算例。实现隔离一个数值机制，不训练完整策略，也不控制真实硬件。
机制图：从上到下跟踪每次变换。运行前：预测一个边界情况
完全相关的尝试仍只有 0.2 覆盖率；不能套用独立同分布公式。
提示：隔离假设
固定基线输入，只改变一个参数或边界；同时比较数值与声明单位。单例通过仅验证该样例。
最小可运行算例
将算例及所链接模块保存在同一目录。使用 Node.js 22 或更高版本，然后运行 node test-time-compute.mjs. 无需第三方运行依赖。
const solve=()=>{
const p=.2,N=4,selector=.8;
const coverage=1-(1-p)**N;return [coverage,coverage*selector];
};
const actual=solve();
const expected=[0.5904,0.47232];
if(JSON.stringify(actual)===JSON.stringify(expected)){console.log('PASS',actual)}else{
const a=[actual].flat(), b=[expected].flat();
if(a.length!==b.length||a.some((v,i)=>!Number.isFinite(v)||Math.abs(v-b[i])>1e-10))throw Error('Numerical mismatch');
console.log('PASS within 1e-10',actual);
}
参考输出——先预测再展开
[
0.5904,
0.47232
]
测试与迁移
完全相关的尝试仍只有 0.2 覆盖率；不能套用独立同分布公式。
在下方笔记记录输入、代码版本、期望值和实测值；再构造违反上述假设的反例，解释原结论为何不再成立。
下载完整代码包（.tar.gz） · 完整参考代码与回归检查预测、检验与证据记录
展开答案前先预测一个结果；练习后记录差异和迁移测试。记录仅存本地，在不同语言版本间共用。
打开记录／导出／清除 →数学复核范围逐篇记录，不代表完成论文实证复现；可在笔记中记录疑似错误。 复核范围