DeepSeek-R1：奖励、推理与证据边界
分开研究 R1-Zero 和 R1，再设计推理提升的受控检验。本文固定解读 arXiv v1。
DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning · DeepSeek-AI · arXiv:2501.12948v1
Token Lab 原创学习解读 · 来源核对 2026-10-25 · 区分论文主张与合成教学例子。
01 · 论文提出了什么
v1 报告介绍了没有先做 SFT 的大规模 RL 模型 R1-Zero，以及使用冷启动与多阶段训练的 R1；描述组内相对策略优化与推理任务可验证奖励。报告的 benchmark 结果属于对应模型和评测设置。
一手来源：论文摘要 ↗学习指南与本课目录
LEARNING CONTRACT理解 → 实现 → 研究
目标：解释本课机制、复现一个例子、测试一个失败案例。读完不自动代表掌握。
- 理解层：写明假设、形状/单位和一个反例。
- 实现层：复算数值例子并检查边界。
- 研究层：在匹配预算下比较一个替代方法。
02 · 核心机制
Text / 原始公式
For a response group: Aᵢ≈(rᵢ−mean(r))/(std(r)+ε) Group-relative signal → policy update Independent held-out evaluation → capability claim
同一 prompt 的采样解答构成相对比较组，高奖励轨迹得到有利信号。这不等于证明每句生成推理都正确。verifier 可能验证结果，却漏掉推理缺陷、利用漏洞或污染。蒸馏是独立迁移步骤，并不等同于学生模型自己进行 RL。
符号与直觉为教学解释，完整假设及实现细节请对照原论文方法。
机制图与逐步推导
| 符号 | 含义 |
|---|---|
| rᵢ | 采样组中第 i 个回答的奖励 |
| μ, σ | 组内均值及明确约定的标准差 |
| Âᵢ | 相对归一化信号，并非绝对质量分数 |
- [0,0,1,1] 的
，总体 。忽略微小稳定项，中心化和缩放得到 [−1,−1,1,1]。 - 最后奖励改为 2 时，
、 ≈0.829156，advantage 约为 [−0.904534,−0.904534,0.301511,1.507557]。 - 全部奖励为 1 时，中心化使分子全为零。ε 防止除零，但不会创造学习对比信号。应审查奖励饱和与组内多样性。
记录 verifier 行为与假阳性，更多推理 token 或奖励不是推理改善的独立证据。
改变一个变量，解释结果为什么变。
原创教学计算，并非论文 benchmark 复现。条形在面板内相对缩放，具体数值与单位以标注为准。
04 · 手算一个例子
原创组：[0,0,1,1] 均值为 0.5，总体标准差为 0.5，advantage 约为 [−1,−1,1,1]。改变最后一个奖励会改变所有成员的归一化值。奖励全部相等时，中心化 advantage 为零。图示仅讲解归一化，不实现 GRPO 训练，也不复现 R1。
05 · 设计实验
选择小型可验证任务与无污染留出问题。匹配 rollout 与优化预算比较训练配方，再匹配推理 token 和采样数。人工审计 verifier 假阳性，保存轨迹，分开测量 pass@1 与 best-of-k。加入分布偏移测试，报告失败而非只有总体提升。
写出一个假设，保存配置与原始结果，提出替代解释，只报告证据支持的结论。关联实验是本地起点，不是完整论文复现。
打开关联课程／实验 →06 · 局限与审稿式追问
分析提醒：benchmark 提升本身不能解决 RL 是发现新能力还是更好激发现有能力的争论。长回答和反思式措辞不构成充分证据。更强因果结论需要受控基线与成功解答覆盖分析。
为什么要区分 pass@1 与 best-of-k？
best-of-k 改变推理计算量，通常还增加选择或验证。增益可能来自更多尝试，而非更好的单次采样策略，因此应明确报告两种协议。
07 · 阅读原文
v1 第 2.2–2.4 节及评估；区分 R1-Zero、R1 与蒸馏模型结论。
年份采用首次 arXiv 投稿年份。未锁定版本的链接随修订变化，复现报告请记录准确版本。此处 DeepSeek-R1 明确固定为 v1。
继续学习本主题
PPO：逐样本看懂裁剪目标
理解 advantage 符号、rollout 策略比及裁剪的边界。
Schulman et al. · arXiv:1707.06347
InstructGPT：改变训练信号，改变模型行为
连接示范、偏好标签、奖励学习与策略优化。
Ouyang et al. · arXiv:2203.02155