← RL 知识库RL / 8 OF 8RL 是否真正提升了能力？
用独立证据提出可证伪结论。
学习指南与本课目录
LEARNING CONTRACT理解 → 实现 → 研究
目标：解释本课机制、复现一个例子、测试一个失败案例。读完不自动代表掌握。
- 理解层：写明假设、形状/单位和一个反例。
- 实现层：复算数值例子并检查边界。
- 研究层：在匹配预算下比较一个替代方法。
理解机制
用可观察指标定义能力：未见输入任务成功率、扰动稳健性、校准、成本或约束满足。比较训练配方前先匹配推理预算。奖励优化、偏好胜率与事实正确性是不同终点。需要失败切片、不确定性及调参预算公平的基线。
机制图与逐步推导
原创机制示意图，按从上到下顺序阅读。 SVG ↓- 使用差值 [1,2,3]，均值为 2，样本标准差为 1，估计标准误为 1/√3≈0.577350。
- 乘 1.96 得到示意正态半宽 1.131607。只有三对且方差未知时，正态近似很弱，不应把它当可靠小样本区间。
- bootstrap 应重采样完整独立单位。多行属于同一任务或用户时，应考虑按聚类重采样，而不是假装各行独立。
实验检查点小区间可以与有偏实验同时存在；另查泄漏、选择过程与调参预算。
原创练习与分析
为一个 RL 改进主张写预注册：主指标、最小实用效应、数据划分、训练预算、推理预算、种子数与停止规则。列出替代解释及排除各解释所需控制。
复现清单通过不等于复现结果。模型可能利用 verifier 漏洞，或在平均提升时使重要子群退步。
什么证据会让你否定自己的改进主张？
计算匹配基线消除增益、污染、围绕微小效应的宽不确定性，或关键回退，都可能否定结论。应在研究前明确这些条件。
假设、参考实现与验收
s/√n 假设独立同分布实验单元且方差有限。1.96 正态区间是近似，小样本时应比较 t 区间；同一训练种子的多个 episode 不是独立训练运行。
已复核公式条件、单位及算例。实现隔离一个数值机制，不训练完整策略，也不控制真实硬件。
运行前：预测一个边界情况
样本方差为 2.5，标准误为 sqrt(0.5)；episode 不能替代独立种子。
提示：隔离假设
固定基线输入，只改变一个参数或边界；同时比较数值与声明单位。单例通过仅验证该样例。
最小可运行算例
将算例及所链接模块保存在同一目录。使用 Node.js 22 或更高版本，然后运行 node rl-evaluation.mjs. 无需第三方运行依赖。
const solve=()=>{
const differences=[1,2,3,4,5], n=differences.length;
const mean=differences.reduce((a,b)=>a+b)/n;
const variance=differences.reduce((s,x)=>s+(x-mean)**2,0)/(n-1);
return [mean,Math.sqrt(variance/n)];
};
const actual=solve();
const expected=[3,0.7071067811865476];
if(JSON.stringify(actual)===JSON.stringify(expected)){console.log('PASS',actual)}else{
const a=[actual].flat(), b=[expected].flat();
if(a.length!==b.length||a.some((v,i)=>!Number.isFinite(v)||Math.abs(v-b[i])>1e-10))throw Error('Numerical mismatch');
console.log('PASS within 1e-10',actual);
}
参考输出——先预测再展开
[
3,
0.7071067811865476
]
测试与迁移
样本方差为 2.5，标准误为 sqrt(0.5)；episode 不能替代独立种子。
在下方笔记记录输入、代码版本、期望值和实测值；再构造违反上述假设的反例，解释原结论为何不再成立。
下载完整代码包（.tar.gz） · 完整参考代码与回归检查预测、检验与证据记录
展开答案前先预测一个结果；练习后记录差异和迁移测试。记录仅存本地，在不同语言版本间共用。
打开记录／导出／清除 →数学复核范围逐篇记录，不代表完成论文实证复现；可在笔记中记录疑似错误。 复核范围