从零自学 AI:从公开课到独立项目的 52 周路线
用一年建立 Python、数学、机器学习、语言模型、强化学习与 Agent 的知识体系:明确主修课、先修关系、作业、实现项目与掌握标准。
来源与版本详情
本文目录
先看知识如何连接
课程清单回答的是“有什么可学”,学习路线还必须回答“下一步学什么、为什么先学它、学完能做什么”。这篇教程以斯坦福、MIT、伯克利、哈佛和康奈尔的公开资料为骨架,结合独立教育者与开源工程课程,规划一条从基础到项目的路径。这是 Token Lab 独立编写的学习方案,不是大学学位项目,也不代表相关院校背书。
按每周 10–15 小时专注学习、连续 52 周计算,总投入约 520–780 小时。这个预算适合完成精选核心讲座和范围受控的项目,不足以学完文末所有课程与全部作业。完全没有编程基础的读者可以延长到 18–24 个月;已有经验的 SDE 可以缩短 Python 阶段,但不能跳过概率、数值推理和实验设计。研究能力的积累需要更长时间。
公开资料不等于免费注册、人工批改、证书或算力。部分斯坦福当季录像只向选课学生开放,旧版官方录像仍可公开学习。Code in Place 按届招募,应核对申请时间;Coursera 的访问方式与证书可能收费;GPU 训练和外部模型 API 也可能产生费用。Token Lab 不会为了这条路线自动发起付费调用。
一年如何分配,每周如何学习
每个学科只选择一门主修课。替代课分别解决直觉不足、推导太快、实现练习不够或专业方向不同的问题,并不是需要叠加完成的任务。连续看三门内容重复的入门课,往往只会推迟第一次独立实现。先说清楚缺口,再启用备用资源。
以每周 12 小时为例:3 小时看课和记录,2 小时重新推导,5 小时实现与排错,2 小时写简短技术报告。视频开始推导或演示前先暂停,预测下一步。建立问题记录:错误假设是什么、最小反例是什么、因此怎样修改实现;一周和一个月后各复习一次。
第 1–10 周学基础,11–18 周学经典机器学习,19–27 周学神经网络,28–38 周学语言模型,39–46 周学强化学习,47–52 周学 Agent。这是时间预算,不是强制进度表。项目没完成时,优先减少选修,而不是删掉实现时间。遵守原课程学术诚信要求,不公开发布禁止分享的在课作业解答。
| 周数 | 核心学习目标 |
|---|---|
| 1–10 | 阶段 0:Python 与数学语言 |
| 11–18 | 阶段 1:从数据中学习,而不是从泄漏中获利 |
| 19–27 | 阶段 2:神经网络与视觉表征 |
| 28–38 | 阶段 3:从文本到可训练的语言模型 |
| 39–46 | 阶段 4:通过决策与奖励学习 |
| 47–52 | 阶段 5:构建有边界、可观察的 Agent |
阶段 0:Python 与数学语言
Python 是开展实验的语言:函数封装可复用计算,数组表示批量数据,测试暴露错误假设。自定进度可选 CS50P;有适合的开课批次时可以参加 Code in Place。除了语法,还要掌握文件读写、异常、虚拟环境、Git 和可复现命令,然后学习 NumPy 广播与 PyTorch 张量。Python 入门课本身并不等于数值计算训练。
线性代数先用 3Blue1Brown 理解“矩阵是变换”,再学习 MIT 18.06 的线性方程组、张成空间、秩、投影、特征向量和奇异值。ENGR108 是基于 Boyd–Vandenberghe 教材的应用型替代路线,但当前课程使用 Julia,不能把它当作现成的 Python 作业。课程编号沿革也不意味着当季教学安排完全相同。
概率描述数据的不确定性,微积分描述参数变化如何影响结果。从 CS109 或 Stat 110 学条件概率、贝叶斯公式、期望、方差与抽样;微积分动画帮助建立直觉,之后仍应在纸上计算偏导与链式法则。这些不是装饰性的先修知识:交叉熵来自概率建模,反向传播则是在计算图上应用链式法则。
把知识落到一个形状明确的例子:X 有 n 行、d 个特征,w 有 d 个权重,y 有 n 个目标值,因此 Xw 产生 n 个预测。平均半平方误差的梯度是 Xᵀ(Xw−y)/n,维度为 d。取
把机制真正理解清楚
向量是一组有顺序的坐标,矩阵描述坐标空间之间的线性操作。秩表示变换后还保留多少独立方向:两个特征总是同时变化时,若没有额外假设,数据就无法唯一确定它们各自的作用。导数描述局部变化率,梯度收集各参数的偏导数;沿负梯度走足够小的一步,目标函数会局部下降。概率处理的是另一类问题:用分布表达不确定性,而不是用“很有信心”这样的形容词。
一个具体的设计与算例
假设紧急工单占 1%,检测器能找出其中 90%,但会把非紧急工单的 5% 错报为紧急。10,000 条工单中,预期有 90 条正确告警、495 条误报,因此告警真正紧急的比例只有 90/585≈15.4%。这是合成的贝叶斯算例,不是产品实测。它说明“检出率 90%”为什么不够,也说明基础发生率为何必须进入模型评估和 Agent 安全分析。
建议的分周学习顺序
第 1–3 周:函数、容器、文件、异常与可复现 Python 环境,选 CS50P 或合适的 Code in Place。第 4–7 周:向量、矩阵乘法、投影、最小二乘,按需用 3Blue1Brown 补几何直觉。第 8–10 周:条件概率、期望、导数,并连接到回归算例。数学与小程序并行推进,不必等整套数学课程学完才写代码。
X∈ℝⁿˣᵈ、w∈ℝᵈ、y∈ℝⁿ,n>0。梯度与 w 同形状。本例没有独立偏置,因为 X 第一列为常量。
本阶段官方资源阶段 1:从数据中学习,而不是从泄漏中获利
以 CS229 建立数学主线,公开的 2018 年录像是一个稳定入口。当前主页可能包含受限资料,学习时应固定公开版本,而不是拼接不同年份的作业。如果概率符号已经阻碍理解,可先用吴恩达专项课补直觉,也可以换用 Cornell CS4780 的讲法;这两者都不能替代自己推导和实现基线。
监督学习用有标签样本估计映射,无监督学习在没有目标标签时寻找结构。线性回归预测实数,逻辑回归估计二分类概率,k-means 交替进行样本分配与中心更新。先解释目标函数,再选择算法。距离方法还继承了特征尺度的假设:某个特征仅仅因为计量单位大,就可能支配欧氏距离。
用事故工单分流贯穿路线:根据公开或合成特征,判断工单是否需要紧急人工复核。必须先按时间或客户划分数据,再拟合预处理。如果近乎重复的工单同时出现在训练与测试中,高分可能只代表记忆。准确率也会掩盖稀有紧急事件;漏掉一次紧急工单与多做一次人工复核的代价不同,模型价值必须结合决策目标衡量。
正则化在训练拟合和稳定性之间取舍。岭回归增加 λ‖w‖²/2,其梯度相应增加 λw。λ 越大并不总是越好:使用训练与验证数据选择它,最终测试集保持不动。先保留常量或线性基线,再增加模型复杂度。预处理、数据划分清单与模型应一起保存,保证推理使用同一个特征定义。
把机制真正理解清楚
估计器根据已观察数据得到参数,预测器则使用参数处理新输入。训练损失只描述用于估计的样本;泛化讨论的是在明确部署假设下的新数据。优化误差、统计估计误差和分布变化不是同一个问题:增加训练步数可能解决第一个,却无法解决另外两个。调参前应先定位正在面对哪一种问题。
一个具体的设计与算例
逻辑回归给出
建议的分周学习顺序
第 11–13 周学线性回归、逻辑回归、最大似然与梯度;14–16 周学正则化、验证、尺度处理与 k-means;17–18 周把一个许可明确的数据集做成基线项目。看完相关 CS229 讲义后,合上材料重新推导一个目标,再实现它。Cornell 只用于仍不理解的主题,不必重学整门课。
λ≥0 控制惩罚强度,其数值意义取决于特征归一化与损失的定义方式。
本阶段官方资源阶段 2:神经网络与视觉表征
先从 Zero to Hero 的 micrograd 开始:实现标量计算节点,并反向累积导数。再解释为何批量矩阵运算比 Python 循环高效,以及广播为何可能悄悄产生错误梯度。CS231n 衔接损失函数、优化、卷积表征与训练实践;密歇根的视觉课是替代方案,不是另一门必须完整叠加的课程。
隐藏层学习有用表征,而不是要求人事先准备所有有效特征。非线性不可省略:多个线性映射叠加仍是线性映射,不能解决 XOR。反向传播负责计算导数,Adam 或 SGD 负责用导数更新参数。训练损失低不等于泛化良好;数据增强改变训练分布,因此增强必须保留任务的标签语义。
卷积在不同空间位置共享局部滤波器,视觉 Transformer 通过注意力建立图像块之间的关系,二者的归纳假设与计算方式不同。第一份视觉项目适合选小数据集,在相同划分下比较“冻结预训练编码器”与“微调”。从零训练 ViT 往往不是合算的入门目标。记录权重许可、输入分辨率、可训练参数量和硬件条件。
核心完成后再选分支:fast.ai 适合程序员自上而下实践,MIT 6.S191 是紧凑概览,CS230 提供另一种训练视角。生成模型是独立扩展:CS236 补概率建模,MIT 6.S184 用常微分方程与随机微分方程解释流匹配和扩散。不要把所有分支都塞进九周主线。
把机制真正理解清楚
自动微分把局部求导规则沿计算图组合起来。一个值同时流向两个后续操作时,它的梯度是两条路径贡献之和,所以“清空梯度”和“累积梯度”是不同操作。典型训练步骤是前向计算、构造损失、清空旧梯度、反向计算、优化器更新。评估模式还涉及 dropout 与归一化层行为,并应关闭不必要的计算图记录;不是只把训练循环中的更新语句删掉。
一个具体的设计与算例
32 个输入特征连接 64 个隐藏单元,需要 32×64+64=2,112 个含偏置参数;之后接 10 分类输出层,再增加 64×10+10=650,总计 2,762。参数量不等于训练内存,激活、梯度和优化器状态也占空间。Adam 通常为每个训练参数维护两个矩张量,实际字节数还依赖 dtype、主权重及实现。先做张量账本,再决定是否租更大的 GPU。
建议的分周学习顺序
第 19–21 周学习 micrograd、链式求导累积与小型多层网络;22–24 周学习向量化训练、初始化、优化器行为与卷积表征;25–27 周完成精选视觉作业及冻结与微调的对照。生成模型暂列选修。训练失败时先检查数据和梯度流,而不是立即换架构。
X:[n,d]、W₁:[d,h]、b₁:[h]、W₂:[h,c]、b₂:[c],隐藏状态为 [n,h],预测为 [n,c]。σ 是逐元素非线性,偏置沿样本行广播。
本阶段官方资源阶段 3:从文本到可训练的语言模型
CS224N 把语言任务、嵌入、序列模型与注意力串联起来。可以使用官方公开的 2024 年录像,并核对对应资料;当前面向在校学生的录像属于另一种访问范围。嵌入把 token ID 映射为可学习向量,但不是数据库事实:向量接近可能仅代表统计关联,并不保证真实、授权或来源可追溯。
分词器把字节或文本转换成离散 ID。BPE 学习反复出现的符号合并;改变分词器会改变序列长度、词表与预测问题。仅解码器 Transformer 在因果掩码下预测下一个 token。当 Q、K 的形状为 [T,dₖ] 时,QKᵀ 的形状为 [T,T];归一化注意力再乘形状为 [T,dᵥ] 的 V,得到 [T,dᵥ]。掩码阻止位置 t 读取未来位置。
交叉熵平均计算模型赋予正确下一 token 的负对数概率。正确 token 概率为 0.25 时,这个位置贡献约 1.386 nat。比较验证损失时,分词器、数据和聚合方式必须兼容。较低的下一 token 损失不能证明事实正确或工具使用安全;padding 掩码、标签移位和数据污染都是具有数学后果的工程细节。
把 CS336 作业 1 作为主要实现目标:分词器、解码器模型、优化器,以及在受控小语料上运行的训练循环。完整 CS336 要求较强 Python、PyTorch 和系统基础,并不适合每位初学者在此阶段全部完成。先用微小子集,保存配置和检查点,确认正确后才扩大规模。token 总量、上下文长度与 batch size 共同影响显存与训练预算。
CME295 提供架构概览,官网已区分 2025 与 2026 年版本;Hugging Face 补生态工程实践。CS25 是研究研讨课,不是循序实现课程的替代品;有具体研究问题后再使用 CMU 高级 NLP。始终区分预训练、监督微调、检索增强和推理:它们分别改变权重、上下文或执行方式,不能混为一谈。
把机制真正理解清楚
下一 token 数据集是一对错开一位的序列。ID 序列 [4,7,9,2] 可以形成输入 [4,7,9] 与目标 [7,9,2]。batch 为 B、长度为 T、词表为 V 时,logits 形状为 [B,T,V]。交叉熵选取每个有效位置的目标项,再对有效位置聚合。错误 reshape 可能让所有维度合法,却让标签对应错误。另须区分 BPE 学习合并规则与 Transformer 学习权重,它们是不同训练过程。
一个具体的设计与算例
一个教学配置可取
建议的分周学习顺序
第 28–30 周按 CS224N 精选内容学习语言任务、嵌入与因果注意力;31–33 周做字节处理、BPE 与一个 decoder block;34–36 周按 CS336 作业 1 搭完整小模型训练、检查点与生成路径;37–38 周分析留出数据行为并编写模型与数据说明。之后再选系统性能、多语言语料、RAG 或后训练,不把训练商业级模型作为入门验收。
Softmax 按行计算;j>i 时
阶段 4:通过决策与奖励学习
强化学习研究行动如何影响随后发生的结果。马尔可夫决策过程用状态概括转移需要的信息,用动作影响环境,用标量奖励描述目标,并通过 γ 折扣后续收益。若任务只是预测固定标签,监督学习通常更简单。大模型调用了一次工具,并不意味着它正在进行强化学习。
用 CS234 建立价值函数、贝尔曼方程与策略评估基础,以 Sutton–Barto 或 David Silver 辅助理解,再选择 CS285 的函数逼近、策略梯度和 actor–critic 内容。DQN 近似离散动作价值,借助经验回放与目标网络稳定更新;PPO 用裁剪代理目标更新策略。裁剪是限制更新幅度的实践方法,不是普遍安全保证。
一步目标 r+γ maxₐ Q(s′,a) 使用未来估计进行自举。
先掌握小环境,再把 LLM 后训练作为进阶分支。CS224R 和 CS329H 连接策略与人类偏好;后者有 2026 年官方材料,但这里不承诺存在公开视频。GRPO 不是低成本获得推理能力的捷径:奖励有效性、组采样、KL 控制和留出任务都很重要,收益也可能来自钻奖励漏洞。Spinning Up 的旧实现有教学价值,但不能假设无需适配就能运行在新版 Gymnasium 上。
把机制真正理解清楚
策略规定动作如何选择,价值函数估计未来回报。下一观察与奖励来自环境,而不是由学习器随意给出。On-policy 方法主要使用被更新策略生成的数据,off-policy 方法可以复用其他行为的数据,但必须处理分布不匹配。经验回放因此属于算法假设的一部分,不是普适加速技巧。部分可观测环境中,当前观察也未必能充当充分状态。
一个具体的设计与算例
奖励为 [1,0,2]、
建议的分周学习顺序
第 39–41 周用 CS234 理解 MDP、贝尔曼更新与表格方法;42–44 周用精选 CS285 学函数逼近、DQN 与策略梯度;45–46 周做范围受控的 DQN/PPO 对照与失败分析。LLM-RL 放到后面:先说清奖励来自哪里、轨迹由哪种策略生成、消耗了多少环境交互。
仅真正终止时
阶段 5:构建有边界、可观察的 Agent
Agent 根据观察和任务目标反复选择行动。确定性工作流预先固定顺序,而 Agent 把部分步骤选择交给模型。应从最小有用自主性开始:工单系统可以先检索公开 runbook、引用依据、提出诊断命令,而不执行生产变更。
CS329Z 提供实现主线:先理解核心组件,再学习框架抽象。按 2026 年 11 月 14 日官网核对结果,前五次讲座已有视频入口,不能据此声称整个学期都已公开。两份作业分别覆盖 harness 构建与评测设计。安装步骤与费用以官方仓库为准,不把社交媒体中的固定 API 总价当作承诺。
伯克利 2024 秋季系列适合建立 Agent 全景,2025 春季系列深化推理与可验证任务,2025 秋季 Agentic AI 补充系统视角。这些是往届课程,历史证书截止时间不是当前招生信息。遇到项目知识缺口后再选择对应讲座。Hugging Face 可作为实践替代路径,CS329A 和 CS222 则偏研究与阅读。
最小 harness 负责消息账本、工具 schema、解析、授权、执行、结果归一化和停止规则。模型只提出动作,由可信代码检查工具名称、参数与当前权限;工具输出是不可信数据,不是新系统指令。不可逆操作前应明确持久化、幂等与超时行为,按动作风险设置人工批准。提示词要求“小心操作”不等于建立权限执行边界。
明确步数、时间与 token 上限。若最多八次调用,每次输入最多 2,000 token、输出最多 300 token,则预算上界为 18,400 token,重试与辅助调用另计。可以先使用本地 stub 验证控制流程而无需付费模型。但端到端系统还必须证明任务结果:工具调用格式正确,并不能证明用户目标已经达成。
把机制真正理解清楚
将系统拆成三个接口:模型适配器把消息转换为请求,harness 管理状态与决策,工具执行器实施获准操作。保存 model_proposal、tool_denied、tool_started、tool_result 等类型化事件。状态可从 ready→proposed→authorized→executing→observed 转移,另有 denied、timed_out、stopped。异常不能悄悄变成成功观察。持久化事件日志有助排查,但重放日志不等于获准重做外部副作用。
一个具体的设计与算例
事故助手可先提供三个只读工具:search_runbooks(query)、get_service_metrics(service,window)、fetch_recent_changes(service)。模型给出的服务名必须匹配用户授权范围。回答应分清观察到的指标、检索出的建议和模型推断。指标超时时应返回证据不完整,而不是编造正常数值。加入 restart_service 会改变风险等级,需要独立授权与审批设计,不只是多写一个函数 schema。
建议的分周学习顺序
第 47–48 周实现确定性的检索回答流程和假模型适配器;49–50 周增加有界工具选择、状态持久化、拒绝与超时语义,结合 CS329Z 对应组件;51–52 周设计留出任务、分析 trace、整理可复现演示。用伯克利讲座解决实际出现的设计问题。六周是受控学习项目,不承诺完成官方课程全部作业范围。
这是输入与输出 token 的合成预算上界,每次调用必须实际限制长度;不包含重试、裁判与 embedding 调用。
本阶段官方资源如何选择专业方向
AI 应用工程方向应加强阶段 3 的推理与阶段 5 的可靠性,并补检索、安全和可观测性;研究方向要投入更多概率、优化、推导与受控实验;机器人方向还需要状态估计、控制、动力学和仿真到现实迁移。本路线本身不能替代完整机器人工程训练。
一个连贯的作品集可以包含经典基线、视觉模型、小语言模型、RL 学习报告与有边界的 Agent。始终解释数据从哪里进入、哪里学习、哪里执行、如何衡量、还不知道什么。完成课程不保证成为专家或获得工作;下面的证据比播放列表完成率更可靠。
实践、项目与掌握证据
理解路线后,再在这里集中完成验证。以下是原创教学练习,不是官方作业答案。固定课程版本并遵守学术诚信要求;外部作业运行在自己的环境,不上传真实私密工单或密钥。
基础
项目证据. 建立 CSV 到特征的处理流程,复现上文两行数据的回归更新,附干净环境命令、形状断言与有限差分梯度检查。
故障与公平比较. 故障:只打乱目标行而不打乱特征。解释为什么形状正确不等于数据正确。
按这个顺序动手实现
- 建立包含 src/、tests/、data/ 与 README 的仓库,使用虚拟环境并记录 Python 和依赖版本。加载微型 CSV、保留行 ID,在调用库估计器前先实现数值例子。
- 保存从干净 checkout 重现结果的命令。修改一个输入,先在纸上预测,再运行验证。预测失败时解释差异,而不是只改代码直到测试变绿。
经典机器学习
项目证据. 用 NumPy 实现线性回归、逻辑回归和 k-means。选择许可明确的公开数据集,提供常量基线、按时间或实体划分、仅在训练集拟合的预处理,以及最终留出结果。
故障与公平比较. 在相同划分下比较两种正则化设置,检查稀有类召回与泄漏,不按测试集最高分反复挑模型。
按这个顺序动手实现
- 先定义决策、标签与数据划分,再查看验证分数。将预处理 fit/transform 分开,依次实现常量、线性或逻辑回归、聚类基线;k-means 训练本身不需要分类标签。
- 固定 train/validation/test 的角色,记录每次参数和结果,仅用验证集选型,最后评估测试集。至少分析一个稀有群体或后续时间段的失败切片。
深度学习
项目证据. 完成精选 CS231n 或密歇根作业,在小型视觉任务上比较冻结编码器与微调。记录种子、权重、变换、学习率和硬件。
故障与公平比较. 先让模型在极小训练子集上过拟合,以排查训练流程;检查错误标签,并保持验证变换确定。
按这个顺序动手实现
- 将 data loader、模型、损失、优化器、训练函数分开。记录学习率、训练与验证损失、梯度范数,并保留已知输入的小 batch 用于排错。
- 先训练小网络,再使用一个许可明确的预训练 checkpoint。在相同划分与可比资源条件下比较冻结和微调;说明额外预训练数据带来的优势,不能全部归功于自己的方法。
语言模型
项目证据. 完成范围受控的 CS336 作业 1 路线,保存分词规则、配置、数据哈希、优化器状态与采样命令,附损失曲线和张量形状解释。
故障与公平比较. 检查分词往返、因果不变性与检查点重载;在留出语料上与 unigram 基线比较,不仅用困惑度比较不兼容分词器。
按这个顺序动手实现
- 先做 tokenizer encode/decode,再构造移位标签,依次实现 embedding、因果注意力、前馈块、输出投影,最后接损失、优化器和采样入口。
- 需要精确续训时保存模型、优化器、scheduler、step、配置与 RNG 状态。用短运行比较恢复与不中断训练,注明确定性设置,保存数据哈希并说明剩余不确定性。
强化学习
项目证据. 在小型 Gymnasium 环境实现 DQN 与 PPO,报告多个种子、环境版本、交互步数、评估策略与结果分布,而不是最好的一次运行。
故障与公平比较. 检查 terminal 与 truncated 的处理,在相同交互预算下比较,并单独报告计算差异。保留失败运行与诊断。
按这个顺序动手实现
- DQN 选择小型离散动作环境,PPO 使用适配的任务配置;显式记录环境 wrapper、回合上限和预处理,区分训练探索与评估动作选择。
- 先确定种子与预算,再运行。分别按环境步数和墙钟时间保存曲线。故意引入一种奖励或终止处理错误,诊断后恢复正确实现,解释差异。
Agent 系统
项目证据. 按官方范围完成 CS329Z HW1/HW2,构建只读本地事故助手,加入脚本模型基线、trace ID、工具白名单、持久化状态和停止条件。
故障与公平比较. 注入错误工具输出、提示注入、超时与重复消息;将确定性控制流程测试与模型质量测试分开,使用留出任务,不把未经校准的模型裁判当作真值。
按这个顺序动手实现
- 实现模型适配器与三个只读工具,加入 schema 验证、当前权限检查、步数与 token 限制、trace ID 与持久事件。先用脚本模型让故障可重复。
- 控制检查通过后再接真实本地模型,分别评估任务结果、证据支持、拒绝动作、延迟和资源。交付仓库、环境说明、示例轨迹与局限,不把密钥放入项目。
可下载的 Python 3.11+ 基础检查只用标准库,不需要网络、随机数或 API key。它复算文中的例子,并用中心差分检查梯度。这是入门练习,不是六个综合项目的完整实现;后续项目请结合官方仓库与本站从零实现教程。
下载代码python3 roadmap-foundations.py"""Python 3.11+, standard library only; deterministic synthetic examples."""
import math
X = [[1.0, 0.0], [1.0, 1.0]]
y = [1.0, 3.0]
w = [0.0, 0.0]
def loss(weights):
errors = [sum(a * b for a, b in zip(row, weights)) - target
for row, target in zip(X, y)]
return sum(e * e for e in errors) / (2 * len(y))
def gradient(weights):
errors = [sum(a * b for a, b in zip(row, weights)) - target
for row, target in zip(X, y)]
return [sum(row[j] * e for row, e in zip(X, errors)) / len(y)
for j in range(len(weights))]
def softmax(logits):
if not logits or not all(math.isfinite(v) for v in logits):
raise ValueError("finite, nonempty logits required")
maximum = max(logits)
values = [math.exp(v - maximum) for v in logits]
return [v / sum(values) for v in values]
def td_target(reward, gamma, next_values, terminated):
return reward if terminated else reward + gamma * max(next_values)
g = gradient(w)
eps = 1e-6
for j, analytic in enumerate(g):
plus, minus = w.copy(), w.copy()
plus[j] += eps
minus[j] -= eps
numeric = (loss(plus) - loss(minus)) / (2 * eps)
assert math.isclose(analytic, numeric, abs_tol=1e-8)
updated = [a - 0.1 * b for a, b in zip(w, g)]
assert loss(updated) < loss(w)
p = softmax([1000.0, 1000.0])
assert p == [0.5, 0.5]
assert math.isclose(sum(softmax([1.0, 2.0, 3.0])), 1.0)
try:
softmax([])
except ValueError:
pass
else:
raise AssertionError("empty inputs must fail")
assert td_target(1, 0.9, [2, 4], True) == 1
assert math.isclose(td_target(1, 0.9, [2, 4], False), 4.6)
print(f"gradient={g}")
print(f"weights={[round(v, 2) for v in updated]}")
print(f"loss={loss(updated):.6f}")
print(f"cross_entropy={-math.log(0.25):.6f}")
print(f"td_target={td_target(1, 0.9, [2, 4], False):.1f}")
# Additional synthetic decision/resource examples in the expanded tutorial.
base_rate, sensitivity, false_positive_rate = 0.01, 0.90, 0.05
true_alerts = 10_000 * base_rate * sensitivity
false_alerts = 10_000 * (1 - base_rate) * false_positive_rate
precision = true_alerts / (true_alerts + false_alerts)
assert true_alerts == 90 and false_alerts == 495
assert math.isclose(precision, 90 / 585)
miss_cost, false_alert_cost = 20, 1
threshold = false_alert_cost / (miss_cost + false_alert_cost)
assert math.isclose(threshold, 1 / 21)
for probability in (0.01, 0.05, 0.9):
flag = probability > threshold
assert flag == ((1 - probability) * false_alert_cost < probability * miss_cost)
assert 32 * 64 + 64 + 64 * 10 + 10 == 2762
assert 4 * 128 * 1024 * 4 == 2 * 1024**2
assert math.ceil(100_000 / (4 * 128)) == 196
assert math.isclose(sum(0.9**i * reward for i, reward in enumerate([1, 0, 2])), 2.62)
print("checks=passed")
预期输出:
原创面试练习与分层评分
为什么测试分数很高仍不能证明学到了有效规律?
提示
先检查样本和预处理如何跨越数据划分。
答案与分析
重复样本、未来信息或反复按测试结果调参都会破坏留出验证。重新按实体或时间划分,仅在训练集拟合变换,并报告基线与不确定性。
Transformer 同时计算所有位置,为什么仍然可以是自回归模型?
提示
区分并行运算与被允许的信息流。
答案与分析
因果掩码阻止未来信息,标签向后移一个位置;在评估模式下,改变未来输入不应改变过去输出,允许合理浮点误差。
Agent 必须使用强化学习吗?
提示
区分推理时选择动作与更新策略参数。
答案与分析
不必。预训练模型配合有界 harness 就能选择工具而无需在线更新。RL 是改进策略的方法之一,也增加奖励设计和评测要求。
什么时候值得引入框架?
提示
先说清它替代了哪种反复出现的机制。
答案与分析
理解并实现状态转移、解析、工具执行和失败处理之后。框架减少样板代码,但默认配置不能证明授权正确、执行持久或任务成功。
所有项目统一按 1–5 分评估:1 分能复述术语;2 分能解释机制与假设;3 分能独立复现基线和数值检查;4 分能诊断失败并公平比较替代方案;5 分能论证设计取舍、不确定性、局限与迁移实验。正确性、可复现性和解释能力至少都达到 3 分再进入下一阶段,精美演示不能抵消证据缺失。
遇到困难时怎样继续
公式不懂时,缩成一个标量或两行矩阵,把所有中间量算出来;代码不懂时,隔离一个函数,检查输入、形状和状态;训练不懂时,退回最简单基线与微型数据;论文不懂时,区分主张、假设、证据与局限。
可以让 AI 当助教:先请求提示、反例或推导审查,而不是完整答案。关闭生成答案后独立重建实现。对借用组件保留用途、许可与测试说明;生成代码通过检查,不等于自己已经能维护它。
预测、检验与证据记录
展开答案前先预测一个结果;练习后记录差异和迁移测试。记录仅存本地,在不同语言版本间共用。
打开记录/导出/清除 →数学复核范围逐篇记录,不代表完成论文实证复现;可在笔记中记录疑似错误。 复核范围
官方课程、视频与延伸学习
以下链接指向原始提供方。它们是学习入口,不代表所有当季录像、练习、证书和算力免费。未确认稳定播放列表时,通过官方课程表进入视频;不要自行拼凑链接。课程年份、公开录像与作业依赖可能不同。核对日期:2026 年 11 月 14 日。
阶段 0:Python 与数学语言
CS50Phttps://cs50.harvard.edu/python/
主线选择;通过课程表进入讲义、视频与作业。
Stanford Code in Placehttps://codeinplace.stanford.edu/
按届招生,核对申请时间;自定进度可选 CS50P。
3Blue1Brown · Linear algebrahttps://www.3blue1brown.com/topics/linear-algebra
先建立直觉,再做正式推导;不是大学课程,也不替代习题。
MIT 18.06 · Gilbert Strang · 2010https://ocw.mit.edu/courses/18-06-linear-algebra-spring-2010/
主线选择;通过课程表进入讲义、视频与作业。
课程与材料https://ocw.mit.edu/courses/18-06-linear-algebra-spring-2010/ · 视频或配套材料https://ocw.mit.edu/courses/18-06-linear-algebra-spring-2010/video_galleries/video-lectures/
Stanford ENGR108https://web.stanford.edu/class/engr108/
应用线性代数,当前使用 Julia。
Stanford CS109https://web.stanford.edu/class/cs109/
面向编程的概率;附在线教材,当季录像可能需选课。
课程与材料https://web.stanford.edu/class/cs109/ · 视频或配套材料https://probabilitycoders.stanford.edu/
Harvard Stat 110https://stat110.hsites.harvard.edu/
替代讲法或课程,不默认叠加另一门完整课程。
3Blue1Brown · Calculushttps://www.3blue1brown.com/topics/calculus
先建立直觉,再做正式推导;不是大学课程,也不替代习题。
阶段 1:从数据中学习,而不是从泄漏中获利
Stanford CS229 · 2018 lectureshttps://cs229.stanford.edu/
公开 2018 讲座入口,部分当季材料受限。
课程与材料https://cs229.stanford.edu/ · 视频或配套材料https://www.youtube.com/watch?v=jGwO_UgTS7I
Machine Learning Specialization · Andrew Nghttps://www.coursera.org/specializations/machine-learning-introduction
可选过渡课,不保证所有内容或证书免费。
课程与材料https://www.coursera.org/specializations/machine-learning-introduction
Cornell CS4780 · 2018https://www.cs.cornell.edu/courses/cs4780/2018fa/
替代讲法或课程,不默认叠加另一门完整课程。
课程与材料https://www.cs.cornell.edu/courses/cs4780/2018fa/ · 视频或配套材料https://www.youtube.com/playlist?list=PLl8OlHZGYOQ7bkVbuRthEsaLr7bONzbXS
阶段 2:神经网络与视觉表征
Karpathy · Neural Networks: Zero to Herohttps://karpathy.ai/zero-to-hero.html
主线选择;通过课程表进入讲义、视频与作业。
Stanford CS231nhttps://cs231n.stanford.edu/
附官方公开播放列表;2026 春季录像仅面向选课学生。
课程与材料https://cs231n.stanford.edu/ · 视频或配套材料https://www.youtube.com/playlist?list=PLoROMvodv4rOmsNzYBMe0gJY2XS8AQg16
UMich EECS498/598 · 2019 assignment archivehttps://web.eecs.umich.edu/~justincj/teaching/eecs498/FA2019/assignment2.html
2019 作业归档可访问,旧主页核对时返回 404;作为作业替代资源,不声称完整视频包已验证。
课程与材料https://web.eecs.umich.edu/~justincj/teaching/eecs498/FA2019/assignment2.html
3Blue1Brown · Neural networkshttps://www.3blue1brown.com/topics/neural-networks
先建立直觉,再做正式推导;不是大学课程,也不替代习题。
fast.ai · Practical Deep Learninghttps://course.fast.ai/
替代讲法或课程,不默认叠加另一门完整课程。
MIT 6.S191https://introtodeeplearning.com/
可选概览;通过官方讲次入口,区分当前与往届版本。
Stanford CS230https://cs230.stanford.edu/
核心之后的专业补充,按具体知识缺口选学。
Stanford CS236 · Deep Generative Modelshttps://deepgenerativemodels.github.io/
生成模型分支,先掌握概率与微积分;配套链接可能是讲义 PDF 而非视频。
MIT 6.S184 · 2026https://diffusion.csail.mit.edu/2026/index.html
生成模型分支,先掌握概率与微积分;配套链接可能是讲义 PDF 而非视频。
课程与材料https://diffusion.csail.mit.edu/2026/index.html · 视频或配套材料https://diffusion.csail.mit.edu/2026/docs/lecture_notes.pdf
阶段 3:从文本到可训练的语言模型
Stanford CS224Nhttps://web.stanford.edu/class/cs224n/
公开 2024 播放列表;当季录像与公开材料访问范围不同。
课程与材料https://web.stanford.edu/class/cs224n/ · 视频或配套材料https://www.youtube.com/playlist?list=PLoROMvodv4rOaMFbaqxPDoLWjDaRAdP9D
Stanford CS336 · Spring 2026https://cs336.stanford.edu/
2026 视频与作业,需要较强实现基础;第一年以作业 1 为主要范围,再选系统扩展。
课程与材料https://cs336.stanford.edu/ · 视频或配套材料https://www.youtube.com/playlist?list=PLoROMvodv4rMqXOcazWaTUHhq-yembLCV
Stanford CME295https://cme295.stanford.edu/syllabus/
可选概览;通过官方讲次入口,区分当前与往届版本。
Stanford CS25https://web.stanford.edu/class/cs25/
研究研讨课:完成基础实现后按主题选看。
CMU 11-711 · Advanced NLP · 2024https://phontron.com/class/anlp2024/
核心之后的专业补充,按具体知识缺口选学。
Hugging Face LLM Coursehttps://huggingface.co/learn/llm-course/
工程生态实践;依赖与外部算力需单独准备。
阶段 4:通过决策与奖励学习
Sutton & Barto · Reinforcement Learning, second editionhttp://incompleteideas.net/book/the-book-2nd.html
作者提供的免费教材;本次抓取不可用,未确认当前访问状态。
David Silver · RL · 2015https://davidstarsilver.wordpress.com/teaching/
替代讲法或课程,不默认叠加另一门完整课程。
Stanford CS234https://web.stanford.edu/class/cs234/
主线选择;通过课程表进入讲义、视频与作业。
Berkeley CS285 · 2023 lectureshttps://rail.eecs.berkeley.edu/deeprlcourse/
官方 2023 播放列表;选择配套往届作业,不混用版本。
课程与材料https://rail.eecs.berkeley.edu/deeprlcourse/ · 视频或配套材料https://www.youtube.com/playlist?list=PL_iWQOsE6TfVYGEGiAOMaOzzv41Jfm_Ps
Stanford CS224Rhttps://cs224r.stanford.edu/
核心之后的专业补充,按具体知识缺口选学。
OpenAI Spinning Uphttps://spinningup.openai.com/en/latest/
算法讲解与旧实现;需要检查依赖兼容性。
Hugging Face Deep RL Coursehttps://huggingface.co/learn/deep-rl-course/en/unit0/introduction
工程生态实践;依赖与外部算力需单独准备。
课程与材料https://huggingface.co/learn/deep-rl-course/en/unit0/introduction
Stanford CS329H · Autumn 2026https://web.stanford.edu/class/cs329h/
2026 偏好学习材料,未确认公开视频。
Stanford CS221https://stanford-cs221.github.io/autumn2025/
选学 MDP 与博弈;2025 页面录像入口是 Canvas,课件与代码公开。
阶段 5:构建有边界、可观察的 Agent
Stanford CS329Z · Autumn 2026https://cs329z.stanford.edu/
2026 课程,核对到五讲视频入口,后续可能继续发布。HW1 构建 harness,HW2 设计评测任务。
课程与材料https://cs329z.stanford.edu/ · 视频或配套材料https://youtu.be/DGI4vucR71w
Berkeley LLM Agents · Fall 2024https://llmagents-learning.org/f24
伯克利第一部:Agent 基础;历史证书日期不代表当前开放。
Berkeley Advanced LLM Agents · Spring 2025https://llmagents-learning.org/sp25
第二部:高级推理与可验证任务。
Berkeley Agentic AI · Fall 2025https://agenticai-learning.org/f25
第三部:Agentic AI;第一部之后选学,不把三部全部视为前置。
Stanford CS329A · Self-Improving AI Agentshttps://cs329a.stanford.edu/
自我改进 Agent 研究分支,需要评测与失败分析基础。
Stanford CS222 · Fall 2024https://joonspk-research.github.io/cs222-fall24/
2024 阅读与项目材料,未确认完整公开录像系列。
Hugging Face Agents Coursehttps://huggingface.co/learn/agents-course/en/unit0/introduction
工程生态实践;依赖与外部算力需单独准备。
课程与材料https://huggingface.co/learn/agents-course/en/unit0/introduction
- CS336 · Assignment 1https://github.com/stanford-cs336/assignment1-basics
- CS329Z · HW1https://github.com/cs329z/assignment1-harness
- CS329Z · HW2https://github.com/cs329z/assignment2-evals