Token Lab搜索

UNDERGRADUATE → MASTERS / COMPETENCY MAP

用成果证明掌握的系统课程

面向具备本科数学与编程基础的读者。按依赖关系学习,通过检查点,再深入研究或工程方向。

入门诊断

开始前应能解释矩阵乘法形状、条件概率、导数与训练测试切分。如果不能实现稳定 softmax 或解释数据泄漏,请从阶段 1 开始。熟悉 Python 或 JavaScript 即可,本地教学实验无需 GPU。

诊断题:为什么不能随意随机切分相邻视频帧?

邻近帧共享场景、主体与时间信息,使测试集过于接近训练集。预处理前按轨迹或场景切分,另设分布偏移测试。

  1. 1

    数学与数值基础

    推导 softmax 交叉熵梯度,用中心差分验证,并解释 log-sum-exp 稳定性。

    学习与实验 →
    成果检查点

    扫描多个差分步长比较解析梯度与数值梯度,解释极小步长下的消减误差。

  2. 2

    架构与表示

    追踪注意力、掩码、残差与投影的张量形状,区分表示质量和预训练损失。

    学习与实验 →
    成果检查点

    编写因果掩码测试,解释 padding 与因果掩码解决的不同问题。

  3. 3

    训练与适配

    将优化器状态、梯度、激活和参数精度关联到完整内存账本。

    学习与实验 →
    成果检查点

    用相同数据切分比较全量微调与 LoRA,报告质量、峰值内存与可训练参数。

  4. 4

    检索与评测

    分离检索召回、回答依据与评估器可靠性,防止文档泄漏。

    学习与实验 →
    成果检查点

    留出完整文档,独立比较分块大小和重叠,标注检索与生成错误。

  5. 5

    RL 与决策

    先推导 Bellman 目标、策略梯度和裁剪目标,再研究偏好优化。

    学习与实验 →
    成果检查点

    构造奖励投机例子,以及区分真实学习与利用评估器漏洞的对照实验。

  6. 6

    推理服务与系统

    在明确工作负载下核算 KV 内存、排队、prefill/decode 和尾延迟。

    学习与实验 →
    成果检查点

    交付延迟随负载变化曲线,包含 p50/p95/p99、预热规则与失败请求数。

  7. 7

    具身智能

    连接感知不确定性、坐标系、动作契约与闭环评测。

    学习与实验 →
    成果检查点

    先实现变换往返检查与延迟反馈玩具控制器,再提出硬件测试。

  8. 8

    研究综合

    比较替代解释、公平调参预算与可复现约束。

    学习与实验 →
    成果检查点

    提交正面或阴性结果,附原始轨迹、版本化配置及下一个可证伪假设。

三个综合项目

工程方向:构建检索流程,分离搜索、生成和评判造成的错误。研究方向:复现一个范围明确的主张,附基线、两项消融和不确定性估计。Physical AI:构建仿真感知到控制闭环,独立测试标定误差、传感延迟与动作饱和。

评价:推导、实现、评测与解释分别计 0–2 分。只有每项都能独立完成(2 分)并附可复现证据,才算掌握。读完不等于掌握。

覆盖范围与仍需深化之处

已有:本地教学实验、中英论文解读、RL 章节和机器人入门序列。仍有限:分布式训练实现、大模型完整 benchmark、机器人硬件验证及中英以外的完整翻译。系统专题补充解析工程练习,并非 GPU benchmark 服务。