PPO：逐样本看懂裁剪目标
理解 advantage 符号、rollout 策略比及裁剪的边界。
Proximal Policy Optimization Algorithms · Schulman et al. · arXiv:1707.06347
Token Lab 原创学习解读 · 来源核对 2026-10-25 · 区分论文主张与合成教学例子。
01 · 论文提出了什么
PPO 交替采集轨迹与小批次优化代理目标。论文比较变体，并评估控制和 Atari 任务。裁剪是实用优化机制，不是每次更新都改善奖励的定理。
一手来源：论文摘要 ↗学习指南与本课目录
LEARNING CONTRACT理解 → 实现 → 研究
目标：解释本课机制、复现一个例子、测试一个失败案例。读完不自动代表掌握。
- 理解层：写明假设、形状/单位和一个反例。
- 实现层：复算数值例子并检查边界。
- 研究层：在匹配预算下比较一个替代方法。
02 · 核心机制
Text / 原始公式
ρₜ(θ)=πθ(aₜ|sₜ)/πold(aₜ|sₜ) Lclip=E[min(ρₜÂₜ, clip(ρₜ,1−ε,1+ε)Âₜ)]
advantage 为正时，希望提高采样动作概率，但超过上裁剪阈值后，代理目标不再奖励这种增加。advantage 为负时，另一侧分支更重要。old log 概率必须对应生成 rollout 的策略；若优化时不断改变它，就改变了目标。
符号与直觉为教学解释，完整假设及实现细节请对照原论文方法。
机制图与逐步推导
| 符号 | 含义 |
|---|---|
| ρ | 当前策略 / rollout 策略的采样动作概率 |
| Â | 采样动作的估计 advantage |
| ε | 裁剪阈值，不是有保证的 KL 上限 |
- 对 rollout 批次固定 old log 概率，使用 exp(logπθ−logπold) 计算比值，避免极小概率直接相除。
且 advantage 为正时，比值超过 1.2 不再获得额外代理激励；advantage 为负时，低于 0.8 的另一侧对应裁剪。 、Â=−2 时，原始目标 −1，裁剪候选 −1.6，minimum 为 −1.6。advantage 的符号决定哪一支更保守。
测试两种符号与裁剪边界。所有更新立即裁剪时，检查学习率、advantage 尺度及 rollout 陈旧程度。
改变一个变量，解释结果为什么变。
原创教学计算，并非论文 benchmark 复现。条形在面板内相对缩放，具体数值与单位以标注为准。
04 · 手算一个例子
原创算例：
05 · 设计实验
单元测试两种 advantage 符号及两个裁剪边界。小环境 POC 保存 rollout log 概率与终止标记，按固定约定计算 advantage，并与无裁剪基线比较。匹配环境交互量与评测 episode。每次更新记录奖励、熵、近似 KL 与裁剪比例。
写出一个假设，保存配置与原始结果，提出替代解释，只报告证据支持的结论。关联实验是本地起点，不是完整论文复现。
打开关联课程／实验 →06 · 局限与审稿式追问
分析提醒：同一 rollout 批次跑多个 epoch 不意味着可无限重用。大更新、价值函数误差与陈旧数据仍可使训练不稳定。某个样本裁剪项变平，不意味着整个网络在所有样本上梯度为零。
裁剪参数是有保证的 KL 上限吗？
不是。它改变采样动作的代理目标激励，整个分布的 KL 取决于更新后策略，需独立测量。
07 · 阅读原文
策略梯度背景、裁剪代理目标与实现细节。
年份采用首次 arXiv 投稿年份。未锁定版本的链接随修订变化，复现报告请记录准确版本。此处 DeepSeek-R1 明确固定为 v1。
继续学习本主题
InstructGPT：改变训练信号，改变模型行为
连接示范、偏好标签、奖励学习与策略优化。
Ouyang et al. · arXiv:2203.02155
DeepSeek-R1：奖励、推理与证据边界
分开研究 R1-Zero 和 R1，再设计推理提升的受控检验。本文固定解读 arXiv v1。
DeepSeek-AI · arXiv:2501.12948