08 · 机器人 RL、仿真迁移与部署证据
设计能够揭示失败的奖励与评测，再讨论真实机器人能力。
先修：MDP、PPO、控制约束与统计评测。
理解机制
RL 优化训练环境奖励，并不知道奖励是否符合真实任务。域随机化让策略或感知系统接触变化，但变化需要覆盖有意义的现实不确定性。原始域随机化论文研究模拟视觉变化；动力学随机化是更广的实验，不能混成同一个结论。分开记录仿真成功、硬件迁移、恢复与安全证据，评估留出参数组合，记录每次重置和人工干预。
Text / 原始公式
J(θ) = E[Σₜ γᵗ rₜ] rₜ = progressₜ − λ·effortₜ − μ·violationₜ SE(p̂) ≈ √[p̂(1−p̂)/n] [rough large-sample diagnostic] zero events: one-sided 95% upper bound = 1 − 0.05^(1/n)
学习指南与本课目录
LEARNING CONTRACT理解 → 实现 → 研究
目标：解释本课机制、复现一个例子、测试一个失败案例。读完不自动代表掌握。
- 理解层：写明假设、形状/单位和一个反例。
- 实现层：复算数值例子并检查边界。
- 研究层：在匹配预算下比较一个替代方法。
机制图与逐步推导
| 符号 | 含义 |
|---|---|
| γ, λ, μ | 折扣与明确的奖励权重 |
| n, p̂ | 独立试验数与观察到的成功比例 |
- 若接近物体奖励 +1、控制代价 −0.01，却无完成条件，策略可能停在附近而不抓取。应增加任务验证，不能只调大权重。
- 20 次成功 18 次，观察成功率 90%，粗略标准误约 6.7 个百分点。报告时应使用小样本区间方法和任务分层。
- 20 次独立同分布试验零失败，失败概率单侧 95% 上界约 13.9%。这种样本量下零观察失败只是很弱的安全证据。
实验检查点
建立物体、光照、质量、摩擦和延迟的交叉评测矩阵。留出组合，不只是种子。报告成功率、干预率、p95 延迟与违规次数及分母。硬件实验需独立验证的控制与安全系统。
原创面试练习与分析
先口述答案再展开分析，补充假设、反例和你会运行的测试。
为什么更多随机化可能降低迁移？
不现实的范围可能淹没有效训练信号或导致过度保守，应测灵敏度、校准范围并测试未见组合。
面试项目应该提供什么证据？
版本化数据与配置、基线、消融、失败视频或轨迹、延迟分布和明确局限，并区分仿真、离线和硬件结果。
阅读一手来源
Domain Randomization ↗ · arXiv PDF ↗
Underactuated Robotics — Russ Tedrake ↗
Token Lab 原创讲解与合成计算，不是机器人性能实测。来源链接核对于 2026-10-25，未锁版本的 arXiv 链接可能修订，复现时请记录版本。