Token Lab搜索

REINFORCEMENT LEARNING / 08 CHAPTERS

RL 知识库

反馈如何改变 AI 行为:从基础、策略优化、人类偏好,到可验证奖励与 Agent 训练。按顺序学习,并检验每个主张。

本地演示计算玩具目标与状态转移,不训练 LLM。真实模型实验需单独计算环境,可能涉及费用和数据传输。
  1. 1

    MDP、回报与 Bellman 方程

    先定义任务,再选择算法。

    学习本章 →
  2. 2

    探索、信用分配与奖励设计

    让有用行为能被发现,也能被测量。

    学习本章 →
  3. 3

    策略梯度、基线与 Actor–Critic

    理解奖励如何改变动作概率。

    学习本章 →
  4. 4

    PPO、裁剪与 On-policy 数据

    限制更新激励,但不把它误当硬信赖域。

    学习本章 →
  5. 5

    SFT → RLHF → DPO:不同训练信号

    选择与可用反馈匹配的训练信号。

    学习本章 →
  6. 6

    GRPO、可验证奖励与推理

    理解结果信号如何强化成功解题行为。

    学习本章 →
  7. 7

    Agent RL:在执行框架中训练策略

    让环境、工具与成功标准可复现。

    学习本章 →
  8. 8

    RL 是否真正提升了能力?

    用独立证据提出可证伪结论。

    学习本章 →