04 · 示教、行为克隆与 ACT
设计示教数据集，解释动作分块的作用及其分布偏移局限。
先修：监督学习、序列模型与控制频率。
理解机制
行为克隆从专家观察学习动作。部署时自身错误改变后续观察，导致误差累积。ACT 建模未来动作块，使用条件变分形式，论文还研究时间聚合。这些机制并不能替代恢复示教。归一化前先按整条轨迹、操作者或场景切分数据，同一轨迹相邻帧高度相关。
Text / 原始公式
L_BC = E[‖a − π(o)‖²] L_CVAE = reconstruction + β·KL(q(z|a,o) ‖ p(z)) āₜ = Σᵢ wᵢ aₜ⁽ⁱ⁾ / Σᵢ wᵢ
学习指南与本课目录
LEARNING CONTRACT理解 → 实现 → 研究
目标：解释本课机制、复现一个例子、测试一个失败案例。读完不自动代表掌握。
- 理解层：写明假设、形状/单位和一个反例。
- 实现层：复算数值例子并检查边界。
- 研究层：在匹配预算下比较一个替代方法。
机制图与逐步推导
| 符号 | 含义 |
|---|---|
| o, a, z | 观察、动作块与潜变量 |
| wᵢ | 明确约定的正聚合权重 |
、50 Hz 时动作块覆盖 0.2 秒，整块开环执行会延迟对新扰动的响应。 - 同一标量动作的两个预测为 0.2 和 0.8，声明权重为 0.75 和 0.25，聚合得 0.35，必须说清哪个预测权重更大。
- 若 100 条轨迹中仅 2 条包含抓取失败，随机采帧不会凭空产生足够恢复覆盖，应专门采集或模拟恢复子集。
实验检查点
在相同示教、计算预算和留出场景比较单步 BC 与分块预测。记录成功、恢复、动作平滑度和延迟，独立消融动作块长度。
原创面试练习与分析
先口述答案再展开分析，补充假设、反例和你会运行的测试。
为什么验证 MSE 下降而成功率下降？
MSE 平均专家状态上的动作误差，可能掩盖接触关键错误，也没有评估策略自身产生的状态分布。
动作分块的权衡是什么？
时间一致性与更少高层决策，换来动作过时及反应下降。执行时域应与预测时域分别评价。
阅读一手来源
ACT / Learning Fine-Grained Bimanual Manipulation ↗ · arXiv PDF ↗
Token Lab 原创讲解与合成计算，不是机器人性能实测。来源链接核对于 2026-10-25，未锁版本的 arXiv 链接可能修订，复现时请记录版本。