UNDERGRADUATE → MASTERS / COMPETENCY MAP用成果证明掌握的系统课程
面向具备本科数学与编程基础的读者。按依赖关系学习,通过检查点,再深入研究或工程方向。
入门诊断
开始前应能解释矩阵乘法形状、条件概率、导数与训练测试切分。如果不能实现稳定 softmax 或解释数据泄漏,请从阶段 1 开始。熟悉 Python 或 JavaScript 即可,本地教学实验无需 GPU。
诊断题:为什么不能随意随机切分相邻视频帧?
邻近帧共享场景、主体与时间信息,使测试集过于接近训练集。预处理前按轨迹或场景切分,另设分布偏移测试。
- 1
数学与数值基础
推导 softmax 交叉熵梯度,用中心差分验证,并解释 log-sum-exp 稳定性。
学习与实验 →成果检查点扫描多个差分步长比较解析梯度与数值梯度,解释极小步长下的消减误差。
- 2
架构与表示
追踪注意力、掩码、残差与投影的张量形状,区分表示质量和预训练损失。
学习与实验 →成果检查点编写因果掩码测试,解释 padding 与因果掩码解决的不同问题。
- 3
训练与适配
将优化器状态、梯度、激活和参数精度关联到完整内存账本。
学习与实验 →成果检查点用相同数据切分比较全量微调与 LoRA,报告质量、峰值内存与可训练参数。
- 4
检索与评测
分离检索召回、回答依据与评估器可靠性,防止文档泄漏。
学习与实验 →成果检查点留出完整文档,独立比较分块大小和重叠,标注检索与生成错误。
- 5
RL 与决策
先推导 Bellman 目标、策略梯度和裁剪目标,再研究偏好优化。
学习与实验 →成果检查点构造奖励投机例子,以及区分真实学习与利用评估器漏洞的对照实验。
- 6
推理服务与系统
在明确工作负载下核算 KV 内存、排队、prefill/decode 和尾延迟。
学习与实验 →成果检查点交付延迟随负载变化曲线,包含 p50/p95/p99、预热规则与失败请求数。
- 7
具身智能
连接感知不确定性、坐标系、动作契约与闭环评测。
学习与实验 →成果检查点先实现变换往返检查与延迟反馈玩具控制器,再提出硬件测试。
- 8
研究综合
比较替代解释、公平调参预算与可复现约束。
学习与实验 →成果检查点提交正面或阴性结果,附原始轨迹、版本化配置及下一个可证伪假设。
三个综合项目
工程方向:构建检索流程,分离搜索、生成和评判造成的错误。研究方向:复现一个范围明确的主张,附基线、两项消融和不确定性估计。Physical AI:构建仿真感知到控制闭环,独立测试标定误差、传感延迟与动作饱和。
评价:推导、实现、评测与解释分别计 0–2 分。只有每项都能独立完成(2 分)并附可复现证据,才算掌握。读完不等于掌握。
覆盖范围与仍需深化之处
已有:本地教学实验、中英论文解读、RL 章节和机器人入门序列。仍有限:分布式训练实现、大模型完整 benchmark、机器人硬件验证及中英以外的完整翻译。系统专题补充解析工程练习,并非 GPU benchmark 服务。