斯坦福 CS329Z:AI Agent 工程课程完整学习指南
系统理解课程大纲、实现 harness、设计评测任务,并集中查阅当前已公开的讲义、视频、阅读材料和作业。
来源与版本详情
本文目录
这门课教什么,哪些资料已公开
Agent harness 是把模型输出转化为受控环境交互的软件层,负责动作解析、工具注册、执行边界、上下文、持久状态与终止条件。模型提出行动建议,外围程序判断该建议是否合法、获授权且可执行。理解这一分工是本学习指南的主线:先理解固定工作流,再搭建由模型选择动作的循环,最后收集证据证明系统确实有效。
CS329Z 是斯坦福 2026 年秋季的 Engineering AI Agents,由 Diyi Yang、Michael Ryan 和 John Yang 授课。11 月 11 日核对时,官方课表链接了 13 份课件 PDF、两个公开视频与第 5 讲代码仓库。两份作业仓库及其 26.1.0 版讲义已公开。后续课表条目代表教学计划,不代表录像已经发布。课程事务页仍保留 Canvas 录像说明,应使用下方逐项核实的公开链接,而不是假设可以访问 Canvas。
本文是 Token Lab 独立编写的自学配套指南,不是斯坦福课程、证书、官方答案或全部课堂的逐字转录。我们核对了课表、课程规则、作业 PDF 与仓库配置,尚未逐一观看全部讲座、复现收费模型评测或完成斯坦福作业。教学解释、图与补充练习由本站编写;官方材料链接到原始位置。
先修知识:需要理解到什么程度
官方先修要求是相当于 CS224N、CS224U、CS224V 或 CS336 的 NLP 基础。对自学者,应把课程名转化为具体能力:Python 中要理解字典、类型化数据、异常、文件读写与测试。工具调用本质上是数据对象,子进程失败应变成明确结果,而不是让整个对话崩溃。还应理解 HTTP、环境变量与 Git,以便分离密钥、代码与实验产物。
模型方面,需要解释下一 token 预测、采样,以及消息和 token 的区别。上下文窗口限制模型当前可见的信息,持久化存储则保留暂时不在提示中的事实。相似度检索不等于真实性验证。基本概率用于区分偶然成功与可靠系统;BM25 和成本核算只需要基础代数。Docker 提供可复现的文件与进程环境,但镜像本身不保证权限安全,也不能让模型输出自动变成确定性的。
从小型本地语料和合成身份开始。不要因为作业用了企业邮件,就上传雇主邮箱;课程提供的数据有单独来源。AI 写出的函数如果解释不清,应缩小功能范围,重新梳理输入、处理与输出,再继续。
讲座之间如何建立知识依赖
开篇从 Agent 系统讲到 LLM、检索与工具。固定工作流由代码决定下一步,Agent 则把部分步骤选择交给模型。这种委托让消息协议、证据选择和工具 schema 都成为程序语义的一部分。RAG 负责在 token 预算下选择证据,工具调用负责改变状态;混淆两者,就容易把检索得到的指令误认为执行权限。
先实现基础循环,再学习框架与设计模式,才能判断抽象是否有价值。显式状态图便于观察状态和失败路径,自由循环能处理更难预测的任务,但动作空间更大。记忆决定会话结束后保留什么;多 Agent 设计决定子问题和共享状态归谁管理,同时引入协调成本与结论冲突。增加 Agent 数量不能代替清晰的协议。
优化与数据部分追问:要改善什么,用什么证据指导改善?数据选择必须匹配目标能力,重复简单轨迹增加数量却不一定覆盖新失败。调优前先分开训练、开发与留出评测样本。Terminal-Bench 把 Agent 实现连接到“任务、环境、验证器”这个评测单元;数据质量与基准课程说明,分数必须放在具体任务分布和计分过程下理解。
后续课表包括 LLM 裁判与评测基础设施、SWE-bench、安全、编程 Agent、主动式 Agent,以及 Andrew Ng 对谈和期末演示。这里整理的是课表主题,并非未公开录像的内容摘要。关键联系是跨时间的授权:主动式 Agent 没有收到新的用户消息也可能行动,因此触发条件、范围、支出上限和停止条件必须提前明确。安全属于系统设计,而非最后添加一句提示词。请通过官方课表查看新增材料,不要假定每节计划课程都有公开视频。
作业一:从固定工作流到 Agent 运行框架
作业一刻意移除了 Agent 框架的便利:LM 原语接收 role/content 消息,返回普通文本;工具描述、调用解析与调度都由自己实现。starter 中的 adapters 是测试调用的契约。应在 cs329z_hw1 包内实现功能,再连接适配器,保留提供的类型与评分代码。不允许添加依赖,已有 NumPy 可以使用。这是教学框架,不是对 Claude Code 或 Codex 全部功能的复制。
前四题构建邮件优先级分类、每日摘要、BM25 检索和多跳邮件问答。BM25 结合词项稀有程度、文档内词频饱和与长度归一化:同一词出现二十次,不应自动得到二十倍证据权重。多跳检索用于跨邮件连接事实,例如一封指出项目负责人,另一封记录后续决策;回答需要连接证据,不能只摘要首条命中。
后半部分加入工具注册表、文本调用协议、有界循环、公司工具、文档搜索和终端。模型输出必须按不可信输入处理。先校验工具名称与参数,再请求审批;拒绝和执行失败都写成观察结果。把真实执行状态与展示文字分开,避免一句流畅回答掩盖操作根本没有执行。课程确认模式检查非只读调用;生产系统还需要资源范围和数据披露策略,因为读取也可能泄密。
最后加入上下文压缩、持久记忆、用户中途引导与 guardrails。压缩是有损变换,必须保留用户约束、待完成动作和证据位置,而不只是生成通顺摘要。记忆按配置目录隔离,不能跨用户泄漏;真实动作账本也不能由模型摘要替代。课程终端限制不等同于生产安全边界,必须查看 sandbox.jail(),尤其是文档注明返回 none 的 Windows 环境。
作业二:设计真正衡量目标能力的任务
Harbor 负责组织评测,Docker 提供任务环境,mini-SWE-agent 是被评测的系统,三者职责必须分清。任务包描述请求、初始文件和依赖、时间与资源限制、验证逻辑及 oracle 解法。Oracle 是用于验证题目可解的已知解,不能被待测 Agent 访问。模型最后说“完成了”并不是分数,验证器应检查实际环境状态。
讲义从本地 HumanEval 示例推进到 SWE-bench Verified 与 Terminal-Bench 2.1,再要求自行出题。26.1.0 版要求通过提供的 pinned_agent.py 使用 mini-SWE-agent 和 Gemini 3.8 Flash,独立运行五次。应保留仓库依赖锁定:Python 要求 >=3.12,<3.14,Harbor 固定为 0.18.0。这是课程快照的要求,不代表所有新项目都应该选这些版本。
好的题目必须说明要测什么能力。例如“恢复服务配置且不改变无关服务”测的是诊断与受约束修复。只检查某个文件存在的验证器过弱;要求与参考补丁逐字一致又会拒绝有效替代方案。应检查后置条件、不变量和禁止的副作用。不能把答案放在初始镜像里、泄漏测试数据、依赖未锁定的远程服务,或靠安装损坏制造难度。
四部分权重为基础 5%、运行示例 10%、自主出题 70%、互评 15%。出题部分再分为可复现性 10 分、能力定义 15 分、任务与验证一致性 15 分、难度 20 分、报告 10 分。作业二讲义要求评审三位同学的任务,课程总则则写每项互评两位。本文保留这一差异;选课学生应以具体作业说明为准并向教师核实,不能擅自合并规则。
把两份作业连接起来的技术机制
以员工咨询报销政策并要求执行操作为例:检索提供候选证据,不提供权限。Harness 读取政策,把答案绑定到文档与版本,生成拟执行的调用,校验后检查权限再执行。被拒绝的动作不能换个工具名称重新绕行。超时意味着副作用是否发生可能未知,重试前应核对操作状态。这是本站对课程教学设计的原创生产扩展,不宣称 starter 已实现这些保证。
参考架构中,模型不能直接接触凭据或运行 shell,所有动作建议都经过宿主控制的策略关卡。只读文档也遵守租户范围;写入带审批与操作标识。观察结果记录到事件日志,上下文只是日志的选取视图,持久记忆则是独立且有范围的存储。只有执行证据支持时,摘要才能说动作已经完成。
上下文预算是加法账本:系统指令、对话、选取的工具结果与预留输出之和不能超过模型限制。合成示例中,窗口 16,000 token,系统 2,000、对话 4,000、输出预留 2,000,则证据剩余 8,000。课程包装器的“四字符约等于一个 token”是估算,不是 tokenizer 定义,也不保证适用于多语言。生产系统应使用实际模型 tokenizer,并计入服务商附加开销。
必要步骤的可靠性会累积损失。假设每一步独立且成功率 95%,十步全部成功约为 59.9%。真实失败可能相关,所以这个结果不是性能预测;它解释了为何要缩短行动路径、设计恢复和明确终止。工具越多意味着可能性增加,并不自动提升可靠性。
环境、模型版本与真实费用边界
作业一需要 Python 3.11+ 与 uv,Windows 还需 Git for Windows 提供 Bash,或者使用 WSL。作业二按项目文件要求 Python 3.12–3.13、uv,以及能连接 daemon 的 Docker。Apple Silicon 的 SWE-bench 示例需要文档所述 linux/amd64 设置,可能涉及模拟运行与不同耗时。两份作业应使用独立环境,不能升级共享环境后就假定依赖锁仍然有效。
核对到的作业一 README 把 openai/gpt-6-luna 列为评分模型,openai/gpt-6-sol 列为 judge;作业二使用 Gemini 或 OpenRouter 接入 Gemini 3.8 Flash。这些是课程文件中的标识,不保证每个校外账户都有权限或相同价格。校外学习者需自行准备服务商密钥与额度。本次没有创建密钥或发起收费调用;Token Lab 也不会收集作业密钥或代传练习输入。
作业一讲义报告参考解单次跑完非最终评测的线上测试约 $0.05,最终模拟评测另需 $0.18,即该次报告运行共 $0.23,不是完成作业的费用保证。调试、改提示、换模型和重试都可能产生新请求。缓存键包含模型、采样参数与完整消息,缓存命中也不能当作可靠性实验中的独立重复。
同时设置服务商侧限额与 CS329Z_BUDGET_USD。本地账本到阈值后停止新调用,但不能把它当作多个并发进程共享的事务级精确上限。删除 .lm_cache 会一起删除缓存和本地费用记录,清理前应保存运行 ID、模型、配置、token 数与费用。终端和 Docker 在本机运行,不代表线上模型测试也不联网:live 测试会把提示发送给外部 API 并产生费用。
课程交付、项目与材料使用规则
课程总成绩由项目 40%、作业 15%、作业口试 15%、论文视频 10%、互评 20% 组成。项目内部为提案 5%、中期报告 5%、中期演示 5%、最终提交 15%、最终系统演示 10%。这些是正式选课要求,校外读者可借用里程碑,但不能因此声称获得学分。本次查到的页面没有完整公开的最终项目评分细则,因此下面的自学项目方案是本站建议,不冒充官方要求。
适合工程师的独立项目是 SRE 事故助手:读取合成事故快照、检索 runbook、给出带证据的诊断,并提出需要审批的有界动作。先交付只读 baseline,再加持久化和错误处理,最后在冻结的事故集上与 baseline 比较,包含证据缺失和用户拒绝操作的情况。产物应有源码、依赖锁、配置、架构、轨迹、费用报告及不支持的操作清单。
官方论文视频要求 10–15 分钟,解释论文、提出批判分析,并通过代码实验等增加超出阅读的贡献;评分为 20+20+20+10 分,提交非公开视频链接和使用材料。该任务的 AI 规则比编程辅助更严格:幻灯片、脚本、分析与讲述必须由学生本人完成,AI 可辅助理解和反馈,但不能代做幻灯片。课程项目报告也不能由 AI 撰写;作业代码允许辅助,但必须理解并验证,口试会检查。
两份作业仓库使用 MIT 许可,复用代码或重要文档时应保留版权与许可文本。这不自动覆盖斯坦福讲座视频、课件和第三方论文,因此本站提供原始链接,不镜像这些材料。公开的是 starter,不意味着可以公开同学答案。选课学生仍需遵守私有提交与学术诚信规则。
课程大纲与知识依赖
下方按课表顺序列出讲义、视频、代码与阅读材料。缺少视频链接意味着核对时课表未提供公开视频,并不证明录像不存在。文献标题保留原始出版语言。
- Agent 系统 材料 (5)
- 面向开发者的 LLM 材料 (5)
- 检索增强生成 材料 (4)
- 工具使用 材料 (4)
- 框架与编排 材料 (5)
- 设计模式 材料 (6)
- 记忆架构 材料 (4)
- 多智能体系统 材料 (4)
- 优化 材料 (4)
- Terminal-Bench 材料 (3)
- Agent 的数据需求 材料 (3)
- 数据选择与质量 材料 (4)
- 评测基础与基准设计 材料 (4)
- Andrew Ng 炉边对谈 材料 (0)
- LLM 裁判与评测基础设施 材料 (4)
- SWE-bench 材料 (1)
- 安全与护栏 材料 (6)
- 感恩节假期,无课 材料 (0)
- 感恩节假期,无课 材料 (0)
- 编程智能体 材料 (4)
- 主动式智能体 材料 (3)
- 期末项目演示 材料 (0)
时间线与交付物
| 日期(2026,太平洋时间) | 主题 |
|---|---|
| 10-09 23:59 | 项目提案 |
| 10-30 | 作业一 |
| 11-06 | 中期报告与演示 |
| 11-13 23:59 | 论文视频 |
| 11-23 23:59 | 作业二任务 |
| 11-30 | 论文互评(2 份) |
| 12-02 | 作业二互评(3 份) |
| 12-09 15:30–18:30 | 期末演示 |
| 12-11 23:59 | 期末报告 |
文末实践、验证与自学计划
建议按四个里程碑学习,而非只看视频。第一周解释模型与消息协议,完成确定性工作流和 BM25 测试;第二周实现有界 harness,记录权限、摘要与记忆设计;第三周打包任务,编写 oracle 并检验验证器是否容易被钻空子;第四周做五次受控运行,分析失败并写报告。这是本站自学建议,不是斯坦福截止日期。
作业一:评分地图
| 模块 | 确定性测试 | Live API | 总分 |
|---|---|---|---|
| priority | 1 | 2 | 3 |
| daily_digest | 1 | 3 | 4 |
| bm25 | 8 | 0 | 8 |
| email_qa | 2 | 6 | 8 |
| tool_registry | 3 | 0 | 3 |
| tool_protocol | 2 | 2 | 4 |
| agent_loop | 8 | 0 | 8 |
| cardinal | 2 | 0 | 2 |
| search_docs | 2 | 3 | 5 |
| terminal | 2 | 4 | 6 |
| compaction | 5 | 3 | 8 |
| memory | 3 | 5 | 8 |
| interactive | 7 | 0 | 7 |
| guardrails | 2 | 2 | 4 |
| sim_eval | 0 | 10 | 10 |
自动评分:48 + 40 = 88;观察记录 10 分;设计说明 20 分。整份作业 118 分,88 不是作业总分。
先运行确定性测试。下面 live 与 simulation 命令会向外部服务发送数据并可能产生费用;它们是可选的课程命令,并非浏览器本地实验。自行将密钥放入 .env,不能提交到版本库。本站未运行这些付费测试,也没有代做课程作业。
git clone https://github.com/cs329z/assignment1-harness.git
cd assignment1-harness
uv sync
uv run python data/download.py
uv run pytestCS329Z_EVAL_SLICE=5 uv run pytest -m live -s
uv run python -m cs329z_hw1.simulation --slice 3
uv run python -m cs329z_hw1.chat --mode confirmgit clone https://github.com/cs329z/assignment2-evals.git
cd assignment2-evals
uv sync
uv run python check_submission.py
作业二:基础设置 5%、示例运行 10%、自建任务 70%、互评 15%。70% 拆分为可复现性 10、能力 15、忠实度 15、难度 20、报告 10。固定 agent 的运行命令与服务商设置请遵循官方讲义,不能任意替换 Harbor agent。
uv run harbor run --path tasks/YOUR_TASK_ID --agent-import-path pinned_agent:MiniSweAgent --model openrouter/google/gemini-3.8-flash --env-file .env --n-attempts 5 --n-concurrent 1 --job-name YOUR_TASK_ID-gemini --jobs-dir tasks/YOUR_TASK_ID/artifacts --yes原创本地练习:五次尝试不等于确定性
下方标准库程序对五次独立伯努利试验中的三次成功计算 95% Wilson 区间,并检查空样本、全失败和全成功边界。预期区间:0.2307–0.8824。它衡量抽样不确定性,不证明任务有效;前提是可比、独立试验,重复缓存结果不构成独立证据。
下载本地练习"""Token Lab original supplement. Python 3.11+, stdlib, no network or randomness."""
from math import sqrt
def wilson(successes, trials, z=1.959963984540054):
if not isinstance(trials, int) or not isinstance(successes, int) or trials <= 0 or not 0 <= successes <= trials:
raise ValueError("Require 0 <= successes <= positive integer trials")
p = successes / trials
denominator = 1 + z*z/trials
center = (p + z*z/(2*trials)) / denominator
half = z * sqrt(p*(1-p)/trials + z*z/(4*trials*trials)) / denominator
return max(0.0, center-half), min(1.0, center+half)
if __name__ == "__main__":
lo, hi = wilson(3, 5)
assert abs(lo - 0.2307242813) < 1e-9
assert abs(hi - 0.8823792258) < 1e-9
assert wilson(0, 5)[0] < 1e-12
assert abs(wilson(5, 5)[1] - 1) < 1e-12
for args in [(0, 0), (6, 5), (-1, 5)]:
try:
wilson(*args)
except ValueError:
pass
else:
raise AssertionError("invalid input accepted")
print(f"3/5: 95% Wilson interval [{lo:.4f}, {hi:.4f}]")
print("PASS: boundaries and invalid inputs")
python3 uncertainty.py
# 3/5: 95% Wilson interval [0.2307, 0.8824]
# PASS: boundaries and invalid inputs原创模拟面试题,并非公司真实面试题
1. 工具调用格式正确为什么不代表已授权?
提示:区分解析和策略。答案:先按 schema 解析,再由宿主核验身份、范围与批准;模型写
2. 缓存中五次成功是否证明可靠?
提示:数独立抽样。答案:缓存重放只能检查流程,不能测量模型新运行的变化。使用独立受控运行,保留种子和设置,报告次数及不确定性。
3. 任务通过测试却没有达成目的,怎么发生?
提示:验证器覆盖。答案:弱检查可能接受硬编码字符串或被修改的答案文件。测试绕过方式,隔离隐藏检查,验证最终状态,并确保 oracle 能通过。没有有效性的难度没有意义。
每题评分:1 分能说出概念;2 分能准确定义;3 分解释具体机制;4 分处理失败并比较替代方案;5 分设计公平验证并说明证据边界。
官方材料、视频与延伸阅读
- 官方课程https://cs329z.stanford.edu/
- 课程规则https://cs329z.stanford.edu/logistics.html
- 作业一 · GitHubhttps://github.com/cs329z/assignment1-harness · PDF v26.1.0https://github.com/cs329z/assignment1-harness/blob/main/cs329z_assignment1_harness.pdf
- 作业二 · GitHubhttps://github.com/cs329z/assignment2-evals · PDF v26.1.0https://github.com/cs329z/assignment2-evals/blob/main/cs329z_assignment2_evaluation.pdf
- 论文视频作业 · PDFhttps://web.stanford.edu/class/cs329z/assignments/paper_video.pdf
下方按课表顺序列出讲义、视频、代码与阅读材料。缺少视频链接意味着核对时课表未提供公开视频,并不证明录像不存在。文献标题保留原始出版语言。
1. Agent 系统
Wed Sep 23 · 2026
- 讲义https://web.stanford.edu/class/cs329z/slides/lecture01.pdf
- 视频https://youtu.be/DGI4vucR71w
- Zaharia et al. "The Shift from Models to Compound AI Systems." BAIR Blog (2024).https://bair.berkeley.edu/blog/2024/02/18/compound-ai-systems/
- Weng. "LLM Powered Autonomous Agents." Lil'Log (2023).https://lilianweng.github.io/posts/2023-06-23-agent/
- Kapoor et al. "AI Agents That Matter." TMLR (2025).https://arxiv.org/abs/2407.01502
2. 面向开发者的 LLM
Mon Sep 28 · 2026
- 讲义https://web.stanford.edu/class/cs329z/slides/lecture02.pdf
- 视频https://youtu.be/Vr1NzH8bT44
- Vaswani et al. "Attention Is All You Need." NeurIPS (2017).https://arxiv.org/abs/1706.03762
- Katharopoulos et al. "Transformers are RNNs: Fast Autoregressive Transformers with Linear Attention." ICML (2020).https://arxiv.org/abs/2006.16236
- Rajasekaran et al. "Effective Context Engineering for AI Agents." Anthropic (2025).https://www.anthropic.com/engineering/effective-context-engineering-for-ai-agents
3. 检索增强生成
Wed Sep 30 · 2026
- 讲义https://web.stanford.edu/class/cs329z/slides/lecture03.pdf
- Lewis et al. "Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks." NeurIPS (2020).https://arxiv.org/abs/2005.11401
- Karpukhin et al. "Dense Passage Retrieval for Open-Domain Question Answering." EMNLP (2020).https://arxiv.org/abs/2004.04906
- Khattab & Zaharia. "ColBERT: Efficient and Effective Passage Search via Contextualized Late Interaction over BERT." SIGIR (2020).https://arxiv.org/abs/2004.12832
4. 工具使用
Mon Oct 5 · 2026
- 讲义https://web.stanford.edu/class/cs329z/slides/lecture04.pdf
- Schick et al. "Toolformer: Language Models Can Teach Themselves to Use Tools." NeurIPS (2023).https://arxiv.org/abs/2302.04761
- Patil et al. "Gorilla: Large Language Model Connected with Massive APIs." NeurIPS (2024).https://arxiv.org/abs/2305.15334
- Model Context Protocol Specification, revision 2025-06-18. modelcontextprotocol.io (2025).https://modelcontextprotocol.io/specification/2025-06-18
5. 框架与编排
Wed Oct 7 · 2026
- 讲义https://web.stanford.edu/class/cs329z/slides/lecture05.pdf
- 代码https://github.com/cs329z/lecture5-frameworks
- Khattab et al. "DSPy: Compiling Declarative Language Model Calls into Self-Improving Pipelines." ICLR (2024).https://arxiv.org/abs/2310.03714
- LangChain. "LangGraph Overview." LangChain Docs.https://docs.langchain.com/oss/python/langgraph/overview
- Arena.ai. "HarnessTax: How Much Does the Harness Matter for Coding Agents?" Arena Blog (2026).https://arena.ai/blog/coding-agents-harness-tax
6. 设计模式
Mon Oct 12 · 2026
- 讲义https://web.stanford.edu/class/cs329z/slides/lecture06.pdf
- Yao et al. "ReAct: Synergizing Reasoning and Acting in Language Models." ICLR (2023).https://arxiv.org/abs/2210.03629
- Schluntz & Zhang. "Building Effective AI Agents." Anthropic (2024).https://www.anthropic.com/engineering/building-effective-agents
- LangChain. "Context Engineering." LangChain Blog (2025).https://www.langchain.com/blog/context-engineering-for-agents
- Shinn et al. "Reflexion: Language Agents with Verbal Reinforcement Learning." NeurIPS (2023).https://arxiv.org/abs/2303.11366
- Wang et al. "Executable Code Actions Elicit Better LLM Agents." ICML (2024).https://arxiv.org/abs/2402.01030
7. 记忆架构
Wed Oct 14 · 2026
- 讲义https://web.stanford.edu/class/cs329z/slides/lecture07.pdf
- Sumers et al. "Cognitive Architectures for Language Agents." TMLR (2024).https://arxiv.org/abs/2309.02427
- Packer et al. "MemGPT: Towards LLMs as Operating Systems." arXiv (2023).https://arxiv.org/abs/2310.08560
- Park et al. "Generative Agents: Interactive Simulacra of Human Behavior." UIST (2023).https://arxiv.org/abs/2304.03442
8. 多智能体系统
Mon Oct 19 · 2026
- 讲义https://web.stanford.edu/class/cs329z/slides/lecture08.pdf
- Wu et al. "AutoGen: Enabling Next-Gen LLM Applications via Multi-Agent Conversation." COLM (2024).https://arxiv.org/abs/2308.08155
- Cemri et al. "Why Do Multi-Agent LLM Systems Fail?" NeurIPS Datasets & Benchmarks (2025).https://arxiv.org/abs/2503.13657
- Kim et al. "Towards a Science of Scaling Agent Systems." arXiv (2025).https://arxiv.org/abs/2512.08296
9. 优化
Wed Oct 21 · 2026
- 讲义https://web.stanford.edu/class/cs329z/slides/lecture09.pdf
- Agrawal et al. "GEPA: Reflective Prompt Evolution Can Outperform Reinforcement Learning." ICLR (2026).https://arxiv.org/abs/2507.19457
- Opsahl-Ong et al. "Optimizing Instructions and Demonstrations for Multi-Stage Language Model Programs." EMNLP (2024).https://arxiv.org/abs/2406.11695
- Shao et al. "DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models." arXiv (2024).https://arxiv.org/abs/2402.03300
10. Terminal-Bench
Mon Oct 26 · 2026
11. Agent 的数据需求
Wed Oct 28 · 2026
- 讲义https://web.stanford.edu/class/cs329z/slides/lecture11.pdf
- Shankar. "Data Flywheels for LLM Applications." (2024).https://www.sh-reya.com/blog/ai-engineering-flywheel/
- Tan et al. "Large Language Models for Data Annotation and Synthesis: A Survey." EMNLP (2024).https://aclanthology.org/2024.emnlp-main.54/
12. 数据选择与质量
Mon Nov 2 · 2026
- 讲义https://web.stanford.edu/class/cs329z/slides/lecture12.pdf
- Yang et al. "SWE-smith: Scaling Data for Software Engineering Agents." NeurIPS D&B (2025).https://arxiv.org/abs/2504.21798
- Shankar et al. "Who Validates the Validators? Aligning LLM-Assisted Evaluation with Human Preferences." UIST (2024).https://arxiv.org/abs/2404.12272
- Zhou et al. "LIMA: Less Is More for Alignment." NeurIPS (2023).https://arxiv.org/abs/2305.11206
13. 评测基础与基准设计
Wed Nov 4 · 2026
- 讲义https://web.stanford.edu/class/cs329z/slides/lecture13.pdf
- Zhu et al. "Establishing Best Practices for Building Rigorous Agentic Benchmarks." (2025).https://arxiv.org/abs/2507.02825
- Press. "How to Build Good Language Modeling Benchmarks." (2024).https://ofir.io/How-to-Build-Good-Language-Modeling-Benchmarks/
- Polo et al. "tinyBenchmarks: Evaluating LLMs with Fewer Examples." ICML (2024).https://arxiv.org/abs/2402.14992
14. Andrew Ng 炉边对谈
Mon Nov 9 · 2026
15. LLM 裁判与评测基础设施
Wed Nov 11 · 2026
- Grace et al. "Demystifying Evals for AI Agents." Anthropic (2026).https://www.anthropic.com/engineering/demystifying-evals-for-ai-agents
- Zheng et al. "Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena." NeurIPS (2023).https://arxiv.org/abs/2306.05685
- Ryan et al. "AutoMetrics: Approximate Human Judgements with Automatically Generated Evaluators." ICLR (2026).https://arxiv.org/abs/2512.17267
- Zhu et al. "AutoLibra: Agent Metric Induction from Open-Ended Human Feedback." ICLR (2026).https://openreview.net/forum?id=4BjGVZ7Bxn
16. SWE-bench
Mon Nov 16 · 2026
17. 安全与护栏
Wed Nov 18 · 2026
- Shao et al. "PrivacyLens: Evaluating Privacy Norm Awareness of LMs in Action." NeurIPS D&B (2024).https://arxiv.org/abs/2409.00138
- Zhang & Yang. "Searching for Privacy Risks in LLM Agents via Simulation." arXiv (2025).https://arxiv.org/abs/2508.10880
- Li. "Agentic LLMs as Powerful Deanonymizers." arXiv (2026).https://arxiv.org/abs/2601.05918
- Wen et al. "Contextualized Privacy Defense for LLM Agents." arXiv (2026).https://arxiv.org/abs/2603.02983
- OpenAI. "Understanding Prompt Injections: A Frontier Security Challenge." (2025).https://openai.com/index/prompt-injections/
- Anthropic. "Anthropic's Responsible Scaling Policy." (2023).https://www.anthropic.com/news/anthropics-responsible-scaling-policy
18. 感恩节假期,无课
Mon Nov 23 · 2026
19. 感恩节假期,无课
Wed Nov 25 · 2026
20. 编程智能体
Mon Nov 30 · 2026
- Yang et al. "SWE-agent: Agent-Computer Interfaces Enable Automated Software Engineering." NeurIPS (2024).https://arxiv.org/abs/2405.15793
- Wang et al. "OpenHands: An Open Platform for AI Software Developers." ICLR (2025).https://arxiv.org/abs/2407.16741
- Anthropic. "Claude Code: Best Practices for Agentic Coding." (2025).https://www.anthropic.com/engineering/claude-code-best-practices
- Young. "Effective Harnesses for Long-Running Agents." Anthropic (2025).https://www.anthropic.com/engineering/effective-harnesses-for-long-running-agents
21. 主动式智能体
Wed Dec 2 · 2026
- Shaikh et al. "Creating General User Models from Computer Use." UIST (2025).https://arxiv.org/abs/2505.10831
- Shaikh et al. "Learning Next Action Predictors from Human-Computer Interaction." arXiv (2026).https://arxiv.org/abs/2603.05923
- Steinberger. "OpenClaw: Open-source proactive AI agent." (2025).https://github.com/openclaw/openclaw
22. 期末项目演示
Wed Dec 9 · 2026