InstructGPT：改变训练信号，改变模型行为
连接示范、偏好标签、奖励学习与策略优化。
Training language models to follow instructions with human feedback · Ouyang et al. · arXiv:2203.02155
Token Lab 原创学习解读 · 来源核对 2026-10-25 · 区分论文主张与合成教学例子。
01 · 论文提出了什么
InstructGPT 使用监督示范、人类比较与强化学习改善指令遵循。论文在其 prompt 分布上报告人类偏好，并分析剩余局限。结论不是参数量不再重要，也不是已对齐所有人类价值。
一手来源：论文摘要 ↗学习指南与本课目录
LEARNING CONTRACT理解 → 实现 → 研究
目标：解释本课机制、复现一个例子、测试一个失败案例。读完不自动代表掌握。
- 理解层：写明假设、形状/单位和一个反例。
- 实现层：复算数值例子并检查边界。
- 研究层：在匹配预算下比较一个替代方法。
02 · 核心机制
Text / 原始公式
Demonstrations → SFT policy Ranked responses → learned reward rφ Policy objective ≈ E[rφ]−β KL(πθ||πref) Some variants additionally mix pretraining updates.
下一 token 目标与用户偏好目标奖励不同的行为。学习的奖励模型提供可优化但不完美的代理。参考惩罚抑制无约束漂移，独立评测检查代理改善是否对应更好的用户输出。每个阶段有不同数据需求与失效模式。
符号与直觉为教学解释，完整假设及实现细节请对照原论文方法。
机制图与逐步推导
| 符号 | 含义 |
|---|---|
| rφ | 学习得到的代理奖励 |
| πref | 漂移惩罚使用的参考策略 |
| β | 指定约定下的权衡系数 |
- 区分三种数据：SFT 示范、奖励学习的比较、策略优化的采样轨迹，它们并不是可互换标签。
- 在同一 prompt 分布上，两种候选策略的（期望奖励，期望 KL）为 (1,0.4)、(0.8,0.1)，
时正则值为 0.6 和 0.7。较低原始奖励也可能在漂移惩罚后胜出。 - 用独立任务标签与盲化人工比较评估选中策略，否则奖励模型的错误可能同时成为训练目标与表面成功标准。
报告谁标注数据及评价了什么 prompt 分布，单个奖励分数不能代表每种用户目标。
改变一个变量，解释结果为什么变。
原创教学计算，并非论文 benchmark 复现。条形在面板内相对缩放，具体数值与单位以标注为准。
04 · 手算一个例子
原创数值示例：固定原始奖励为 1、示意 KL 为 0.2，正则分数为 1−0.2β。
05 · 设计实验
保留盲化留出 prompt 集，在相同解码预算下比较基座、SFT 和偏好训练 checkpoint。将正确性与偏好分开审计。验证奖励模型时，测量新 prompt 上的成对一致性并检查分歧。加入冗长、自信或拒答风格改变但事实未改善的样本。
写出一个假设，保存配置与原始结果，提出替代解释，只报告证据支持的结论。关联实验是本地起点，不是完整论文复现。
打开关联课程／实验 →06 · 局限与审稿式追问
分析提醒：评价者群体与 prompt 分布限定结论范围。奖励利用、分布偏移和能力回退需专门测试。本地教学图不执行模型训练、不收集人类反馈，也不建立对齐结论。
为什么评价必须独立于奖励模型？
优化代理可能利用其错误。若仅用同一代理评价，就无法区分真实任务改进与代理过拟合。
07 · 阅读原文
训练流程、人类评估与局限；跟踪各阶段数据来源。
年份采用首次 arXiv 投稿年份。未锁定版本的链接随修订变化，复现报告请记录准确版本。此处 DeepSeek-R1 明确固定为 v1。
继续学习本主题
PPO：逐样本看懂裁剪目标
理解 advantage 符号、rollout 策略比及裁剪的边界。
Schulman et al. · arXiv:1707.06347
DeepSeek-R1：奖励、推理与证据边界
分开研究 R1-Zero 和 R1，再设计推理提升的受控检验。本文固定解读 arXiv v1。
DeepSeek-AI · arXiv:2501.12948