Token Lab搜索

STANFORD CS329Z · FALL 2026

斯坦福 CS329Z:AI Agent 工程课程完整学习指南

系统理解课程大纲、实现 harness、设计评测任务,并集中查阅当前已公开的讲义、视频、阅读材料和作业。

AI AgentsHarnessBM25HarborEvaluation

来源与版本详情
本文目录

这门课教什么,哪些资料已公开

Agent harness 是把模型输出转化为受控环境交互的软件层,负责动作解析、工具注册、执行边界、上下文、持久状态与终止条件。模型提出行动建议,外围程序判断该建议是否合法、获授权且可执行。理解这一分工是本学习指南的主线:先理解固定工作流,再搭建由模型选择动作的循环,最后收集证据证明系统确实有效。

CS329Z 是斯坦福 2026 年秋季的 Engineering AI Agents,由 Diyi Yang、Michael Ryan 和 John Yang 授课。11 月 11 日核对时,官方课表链接了 13 份课件 PDF、两个公开视频与第 5 讲代码仓库。两份作业仓库及其 26.1.0 版讲义已公开。后续课表条目代表教学计划,不代表录像已经发布。课程事务页仍保留 Canvas 录像说明,应使用下方逐项核实的公开链接,而不是假设可以访问 Canvas。

本文是 Token Lab 独立编写的自学配套指南,不是斯坦福课程、证书、官方答案或全部课堂的逐字转录。我们核对了课表、课程规则、作业 PDF 与仓库配置,尚未逐一观看全部讲座、复现收费模型评测或完成斯坦福作业。教学解释、图与补充练习由本站编写;官方材料链接到原始位置。

先修知识:需要理解到什么程度

官方先修要求是相当于 CS224N、CS224U、CS224V 或 CS336 的 NLP 基础。对自学者,应把课程名转化为具体能力:Python 中要理解字典、类型化数据、异常、文件读写与测试。工具调用本质上是数据对象,子进程失败应变成明确结果,而不是让整个对话崩溃。还应理解 HTTP、环境变量与 Git,以便分离密钥、代码与实验产物。

模型方面,需要解释下一 token 预测、采样,以及消息和 token 的区别。上下文窗口限制模型当前可见的信息,持久化存储则保留暂时不在提示中的事实。相似度检索不等于真实性验证。基本概率用于区分偶然成功与可靠系统;BM25 和成本核算只需要基础代数。Docker 提供可复现的文件与进程环境,但镜像本身不保证权限安全,也不能让模型输出自动变成确定性的。

从小型本地语料和合成身份开始。不要因为作业用了企业邮件,就上传雇主邮箱;课程提供的数据有单独来源。AI 写出的函数如果解释不清,应缩小功能范围,重新梳理输入、处理与输出,再继续。

讲座之间如何建立知识依赖

开篇从 Agent 系统讲到 LLM、检索与工具。固定工作流由代码决定下一步,Agent 则把部分步骤选择交给模型。这种委托让消息协议、证据选择和工具 schema 都成为程序语义的一部分。RAG 负责在 token 预算下选择证据,工具调用负责改变状态;混淆两者,就容易把检索得到的指令误认为执行权限。

先实现基础循环,再学习框架与设计模式,才能判断抽象是否有价值。显式状态图便于观察状态和失败路径,自由循环能处理更难预测的任务,但动作空间更大。记忆决定会话结束后保留什么;多 Agent 设计决定子问题和共享状态归谁管理,同时引入协调成本与结论冲突。增加 Agent 数量不能代替清晰的协议。

优化与数据部分追问:要改善什么,用什么证据指导改善?数据选择必须匹配目标能力,重复简单轨迹增加数量却不一定覆盖新失败。调优前先分开训练、开发与留出评测样本。Terminal-Bench 把 Agent 实现连接到“任务、环境、验证器”这个评测单元;数据质量与基准课程说明,分数必须放在具体任务分布和计分过程下理解。

后续课表包括 LLM 裁判与评测基础设施、SWE-bench、安全、编程 Agent、主动式 Agent,以及 Andrew Ng 对谈和期末演示。这里整理的是课表主题,并非未公开录像的内容摘要。关键联系是跨时间的授权:主动式 Agent 没有收到新的用户消息也可能行动,因此触发条件、范围、支出上限和停止条件必须提前明确。安全属于系统设计,而非最后添加一句提示词。请通过官方课表查看新增材料,不要假定每节计划课程都有公开视频。

作业一:从固定工作流到 Agent 运行框架

作业一刻意移除了 Agent 框架的便利:LM 原语接收 role/content 消息,返回普通文本;工具描述、调用解析与调度都由自己实现。starter 中的 adapters 是测试调用的契约。应在 cs329z_hw1 包内实现功能,再连接适配器,保留提供的类型与评分代码。不允许添加依赖,已有 NumPy 可以使用。这是教学框架,不是对 Claude Code 或 Codex 全部功能的复制。

前四题构建邮件优先级分类、每日摘要、BM25 检索和多跳邮件问答。BM25 结合词项稀有程度、文档内词频饱和与长度归一化:同一词出现二十次,不应自动得到二十倍证据权重。多跳检索用于跨邮件连接事实,例如一封指出项目负责人,另一封记录后续决策;回答需要连接证据,不能只摘要首条命中。

后半部分加入工具注册表、文本调用协议、有界循环、公司工具、文档搜索和终端。模型输出必须按不可信输入处理。先校验工具名称与参数,再请求审批;拒绝和执行失败都写成观察结果。把真实执行状态与展示文字分开,避免一句流畅回答掩盖操作根本没有执行。课程确认模式检查非只读调用;生产系统还需要资源范围和数据披露策略,因为读取也可能泄密。

最后加入上下文压缩、持久记忆、用户中途引导与 guardrails。压缩是有损变换,必须保留用户约束、待完成动作和证据位置,而不只是生成通顺摘要。记忆按配置目录隔离,不能跨用户泄漏;真实动作账本也不能由模型摘要替代。课程终端限制不等同于生产安全边界,必须查看 sandbox.jail(),尤其是文档注明返回 none 的 Windows 环境。

作业二:设计真正衡量目标能力的任务

Harbor 负责组织评测,Docker 提供任务环境,mini-SWE-agent 是被评测的系统,三者职责必须分清。任务包描述请求、初始文件和依赖、时间与资源限制、验证逻辑及 oracle 解法。Oracle 是用于验证题目可解的已知解,不能被待测 Agent 访问。模型最后说“完成了”并不是分数,验证器应检查实际环境状态。

讲义从本地 HumanEval 示例推进到 SWE-bench Verified 与 Terminal-Bench 2.1,再要求自行出题。26.1.0 版要求通过提供的 pinned_agent.py 使用 mini-SWE-agent 和 Gemini 3.8 Flash,独立运行五次。应保留仓库依赖锁定:Python 要求 >=3.12,<3.14,Harbor 固定为 0.18.0。这是课程快照的要求,不代表所有新项目都应该选这些版本。

好的题目必须说明要测什么能力。例如“恢复服务配置且不改变无关服务”测的是诊断与受约束修复。只检查某个文件存在的验证器过弱;要求与参考补丁逐字一致又会拒绝有效替代方案。应检查后置条件、不变量和禁止的副作用。不能把答案放在初始镜像里、泄漏测试数据、依赖未锁定的远程服务,或靠安装损坏制造难度。

四部分权重为基础 5%、运行示例 10%、自主出题 70%、互评 15%。出题部分再分为可复现性 10 分、能力定义 15 分、任务与验证一致性 15 分、难度 20 分、报告 10 分。作业二讲义要求评审三位同学的任务,课程总则则写每项互评两位。本文保留这一差异;选课学生应以具体作业说明为准并向教师核实,不能擅自合并规则。

把两份作业连接起来的技术机制

以员工咨询报销政策并要求执行操作为例:检索提供候选证据,不提供权限。Harness 读取政策,把答案绑定到文档与版本,生成拟执行的调用,校验后检查权限再执行。被拒绝的动作不能换个工具名称重新绕行。超时意味着副作用是否发生可能未知,重试前应核对操作状态。这是本站对课程教学设计的原创生产扩展,不宣称 starter 已实现这些保证。

参考架构中,模型不能直接接触凭据或运行 shell,所有动作建议都经过宿主控制的策略关卡。只读文档也遵守租户范围;写入带审批与操作标识。观察结果记录到事件日志,上下文只是日志的选取视图,持久记忆则是独立且有范围的存储。只有执行证据支持时,摘要才能说动作已经完成。

上下文预算是加法账本:系统指令、对话、选取的工具结果与预留输出之和不能超过模型限制。合成示例中,窗口 16,000 token,系统 2,000、对话 4,000、输出预留 2,000,则证据剩余 8,000。课程包装器的“四字符约等于一个 token”是估算,不是 tokenizer 定义,也不保证适用于多语言。生产系统应使用实际模型 tokenizer,并计入服务商附加开销。

必要步骤的可靠性会累积损失。假设每一步独立且成功率 95%,十步全部成功约为 59.9%。真实失败可能相关,所以这个结果不是性能预测;它解释了为何要缩短行动路径、设计恢复和明确终止。工具越多意味着可能性增加,并不自动提升可靠性。

参考设计:模型提出操作,宿主负责授权和执行。拒绝操作只记入事件日志,不进入执行器。
参考设计:模型提出操作,宿主负责授权和执行。拒绝操作只记入事件日志,不进入执行器。

环境、模型版本与真实费用边界

作业一需要 Python 3.11+ 与 uv,Windows 还需 Git for Windows 提供 Bash,或者使用 WSL。作业二按项目文件要求 Python 3.12–3.13、uv,以及能连接 daemon 的 Docker。Apple Silicon 的 SWE-bench 示例需要文档所述 linux/amd64 设置,可能涉及模拟运行与不同耗时。两份作业应使用独立环境,不能升级共享环境后就假定依赖锁仍然有效。

核对到的作业一 README 把 openai/gpt-6-luna 列为评分模型,openai/gpt-6-sol 列为 judge;作业二使用 Gemini 或 OpenRouter 接入 Gemini 3.8 Flash。这些是课程文件中的标识,不保证每个校外账户都有权限或相同价格。校外学习者需自行准备服务商密钥与额度。本次没有创建密钥或发起收费调用;Token Lab 也不会收集作业密钥或代传练习输入。

作业一讲义报告参考解单次跑完非最终评测的线上测试约 $0.05,最终模拟评测另需 $0.18,即该次报告运行共 $0.23,不是完成作业的费用保证。调试、改提示、换模型和重试都可能产生新请求。缓存键包含模型、采样参数与完整消息,缓存命中也不能当作可靠性实验中的独立重复。

同时设置服务商侧限额与 CS329Z_BUDGET_USD。本地账本到阈值后停止新调用,但不能把它当作多个并发进程共享的事务级精确上限。删除 .lm_cache 会一起删除缓存和本地费用记录,清理前应保存运行 ID、模型、配置、token 数与费用。终端和 Docker 在本机运行,不代表线上模型测试也不联网:live 测试会把提示发送给外部 API 并产生费用。

课程交付、项目与材料使用规则

课程总成绩由项目 40%、作业 15%、作业口试 15%、论文视频 10%、互评 20% 组成。项目内部为提案 5%、中期报告 5%、中期演示 5%、最终提交 15%、最终系统演示 10%。这些是正式选课要求,校外读者可借用里程碑,但不能因此声称获得学分。本次查到的页面没有完整公开的最终项目评分细则,因此下面的自学项目方案是本站建议,不冒充官方要求。

适合工程师的独立项目是 SRE 事故助手:读取合成事故快照、检索 runbook、给出带证据的诊断,并提出需要审批的有界动作。先交付只读 baseline,再加持久化和错误处理,最后在冻结的事故集上与 baseline 比较,包含证据缺失和用户拒绝操作的情况。产物应有源码、依赖锁、配置、架构、轨迹、费用报告及不支持的操作清单。

官方论文视频要求 10–15 分钟,解释论文、提出批判分析,并通过代码实验等增加超出阅读的贡献;评分为 20+20+20+10 分,提交非公开视频链接和使用材料。该任务的 AI 规则比编程辅助更严格:幻灯片、脚本、分析与讲述必须由学生本人完成,AI 可辅助理解和反馈,但不能代做幻灯片。课程项目报告也不能由 AI 撰写;作业代码允许辅助,但必须理解并验证,口试会检查。

两份作业仓库使用 MIT 许可,复用代码或重要文档时应保留版权与许可文本。这不自动覆盖斯坦福讲座视频、课件和第三方论文,因此本站提供原始链接,不镜像这些材料。公开的是 starter,不意味着可以公开同学答案。选课学生仍需遵守私有提交与学术诚信规则。

课程大纲与知识依赖

下方按课表顺序列出讲义、视频、代码与阅读材料。缺少视频链接意味着核对时课表未提供公开视频,并不证明录像不存在。文献标题保留原始出版语言。

  1. Agent 系统 材料 (5)
  2. 面向开发者的 LLM 材料 (5)
  3. 检索增强生成 材料 (4)
  4. 工具使用 材料 (4)
  5. 框架与编排 材料 (5)
  6. 设计模式 材料 (6)
  7. 记忆架构 材料 (4)
  8. 多智能体系统 材料 (4)
  9. 优化 材料 (4)
  10. Terminal-Bench 材料 (3)
  11. Agent 的数据需求 材料 (3)
  12. 数据选择与质量 材料 (4)
  13. 评测基础与基准设计 材料 (4)
  14. Andrew Ng 炉边对谈 材料 (0)
  15. LLM 裁判与评测基础设施 材料 (4)
  16. SWE-bench 材料 (1)
  17. 安全与护栏 材料 (6)
  18. 感恩节假期,无课 材料 (0)
  19. 感恩节假期,无课 材料 (0)
  20. 编程智能体 材料 (4)
  21. 主动式智能体 材料 (3)
  22. 期末项目演示 材料 (0)

时间线与交付物

日期(2026,太平洋时间)主题
10-09 23:59项目提案
10-30作业一
11-06中期报告与演示
11-13 23:59论文视频
11-23 23:59作业二任务
11-30论文互评(2 份)
12-02作业二互评(3 份)
12-09 15:30–18:30期末演示
12-11 23:59期末报告

文末实践、验证与自学计划

建议按四个里程碑学习,而非只看视频。第一周解释模型与消息协议,完成确定性工作流和 BM25 测试;第二周实现有界 harness,记录权限、摘要与记忆设计;第三周打包任务,编写 oracle 并检验验证器是否容易被钻空子;第四周做五次受控运行,分析失败并写报告。这是本站自学建议,不是斯坦福截止日期。

作业一:评分地图

模块确定性测试Live API总分
priority123
daily_digest134
bm25808
email_qa268
tool_registry303
tool_protocol224
agent_loop808
cardinal202
search_docs235
terminal246
compaction538
memory358
interactive707
guardrails224
sim_eval01010

自动评分:48 + 40 = 88;观察记录 10 分;设计说明 20 分。整份作业 118 分,88 不是作业总分。

先运行确定性测试。下面 live 与 simulation 命令会向外部服务发送数据并可能产生费用;它们是可选的课程命令,并非浏览器本地实验。自行将密钥放入 .env,不能提交到版本库。本站未运行这些付费测试,也没有代做课程作业。

git clone https://github.com/cs329z/assignment1-harness.git
cd assignment1-harness
uv sync
uv run python data/download.py
uv run pytest
CS329Z_EVAL_SLICE=5 uv run pytest -m live -s
uv run python -m cs329z_hw1.simulation --slice 3
uv run python -m cs329z_hw1.chat --mode confirm
git clone https://github.com/cs329z/assignment2-evals.git
cd assignment2-evals
uv sync
uv run python check_submission.py

作业二:基础设置 5%、示例运行 10%、自建任务 70%、互评 15%。70% 拆分为可复现性 10、能力 15、忠实度 15、难度 20、报告 10。固定 agent 的运行命令与服务商设置请遵循官方讲义,不能任意替换 Harbor agent。

uv run harbor run --path tasks/YOUR_TASK_ID --agent-import-path pinned_agent:MiniSweAgent --model openrouter/google/gemini-3.8-flash --env-file .env --n-attempts 5 --n-concurrent 1 --job-name YOUR_TASK_ID-gemini --jobs-dir tasks/YOUR_TASK_ID/artifacts --yes

原创本地练习:五次尝试不等于确定性

下方标准库程序对五次独立伯努利试验中的三次成功计算 95% Wilson 区间,并检查空样本、全失败和全成功边界。预期区间:0.2307–0.8824。它衡量抽样不确定性,不证明任务有效;前提是可比、独立试验,重复缓存结果不构成独立证据。

下载本地练习
"""Token Lab original supplement. Python 3.11+, stdlib, no network or randomness."""
from math import sqrt

def wilson(successes, trials, z=1.959963984540054):
    if not isinstance(trials, int) or not isinstance(successes, int) or trials <= 0 or not 0 <= successes <= trials:
        raise ValueError("Require 0 <= successes <= positive integer trials")
    p = successes / trials
    denominator = 1 + z*z/trials
    center = (p + z*z/(2*trials)) / denominator
    half = z * sqrt(p*(1-p)/trials + z*z/(4*trials*trials)) / denominator
    return max(0.0, center-half), min(1.0, center+half)

if __name__ == "__main__":
    lo, hi = wilson(3, 5)
    assert abs(lo - 0.2307242813) < 1e-9
    assert abs(hi - 0.8823792258) < 1e-9
    assert wilson(0, 5)[0] < 1e-12
    assert abs(wilson(5, 5)[1] - 1) < 1e-12
    for args in [(0, 0), (6, 5), (-1, 5)]:
        try:
            wilson(*args)
        except ValueError:
            pass
        else:
            raise AssertionError("invalid input accepted")
    print(f"3/5: 95% Wilson interval [{lo:.4f}, {hi:.4f}]")
    print("PASS: boundaries and invalid inputs")
python3 uncertainty.py
# 3/5: 95% Wilson interval [0.2307, 0.8824]
# PASS: boundaries and invalid inputs

原创模拟面试题,并非公司真实面试题

1. 工具调用格式正确为什么不代表已授权?

提示:区分解析和策略。答案:先按 schema 解析,再由宿主核验身份、范围与批准;模型写 不能授予权限。用格式正确但被禁止的操作验证。

2. 缓存中五次成功是否证明可靠?

提示:数独立抽样。答案:缓存重放只能检查流程,不能测量模型新运行的变化。使用独立受控运行,保留种子和设置,报告次数及不确定性。

3. 任务通过测试却没有达成目的,怎么发生?

提示:验证器覆盖。答案:弱检查可能接受硬编码字符串或被修改的答案文件。测试绕过方式,隔离隐藏检查,验证最终状态,并确保 oracle 能通过。没有有效性的难度没有意义。

每题评分:1 分能说出概念;2 分能准确定义;3 分解释具体机制;4 分处理失败并比较替代方案;5 分设计公平验证并说明证据边界。

官方材料、视频与延伸阅读

下方按课表顺序列出讲义、视频、代码与阅读材料。缺少视频链接意味着核对时课表未提供公开视频,并不证明录像不存在。文献标题保留原始出版语言。

1. Agent 系统

Wed Sep 23 · 2026

2. 面向开发者的 LLM

Mon Sep 28 · 2026

3. 检索增强生成

Wed Sep 30 · 2026

4. 工具使用

Mon Oct 5 · 2026

5. 框架与编排

Wed Oct 7 · 2026

6. 设计模式

Mon Oct 12 · 2026

7. 记忆架构

Wed Oct 14 · 2026

8. 多智能体系统

Mon Oct 19 · 2026

9. 优化

Wed Oct 21 · 2026

10. Terminal-Bench

Mon Oct 26 · 2026

11. Agent 的数据需求

Wed Oct 28 · 2026

12. 数据选择与质量

Mon Nov 2 · 2026

13. 评测基础与基准设计

Wed Nov 4 · 2026

14. Andrew Ng 炉边对谈

Mon Nov 9 · 2026

    15. LLM 裁判与评测基础设施

    Wed Nov 11 · 2026

    16. SWE-bench

    Mon Nov 16 · 2026

    17. 安全与护栏

    Wed Nov 18 · 2026

    18. 感恩节假期,无课

    Mon Nov 23 · 2026

      19. 感恩节假期,无课

      Wed Nov 25 · 2026

        20. 编程智能体

        Mon Nov 30 · 2026

        21. 主动式智能体

        Wed Dec 2 · 2026

        22. 期末项目演示

        Wed Dec 9 · 2026

          学习指南与本课目录学习目标与验收

          理解 → 实现 → 研究

          目标:解释本课机制、复现一个例子、测试一个失败案例。读完不自动代表掌握。

          预测、检验与证据记录

          展开答案前先预测一个结果;练习后记录差异和迁移测试。记录仅存本地,在不同语言版本间共用。

          打开记录/导出/清除 →

          数学复核范围逐篇记录,不代表完成论文实证复现;可在笔记中记录疑似错误。 复核范围