Token Lab検索

STANFORD CS329Z · FALL 2026

Stanford CS329Z:AIエージェント工学の完全学習ガイド

カリキュラム、ハーネス実装、評価課題の設計を理解し、現在公開されている講義・動画・文献・課題を探す。

AI AgentsHarnessBM25HarborEvaluation

出典とバージョン
この記事の目次

何を学べるか、何が公開されているか

Harness はモデルの出力を制御された環境操作へ変えるソフトウェアです。アクション解析、ツール登録、実行境界、文脈、永続状態、停止条件を担当します。モデルは行動を提案し、プログラムが妥当性・権限・実行可能性を判断します。本ガイドでは固定ワークフローからモデル主導のループへ進み、動作を裏付ける証拠につなげます。

CS329Z は Stanford の2026年秋学期 Engineering AI Agents で、Diyi Yang、Michael Ryan、John Yang が担当します。11月11日時点の公式時間割には13件のスライドPDF、2本の公開動画、第5回のコードがありました。課題リポジトリ2件と版26.1.0の課題文も公開済みです。予定された授業と公開済み録画は別です。運営ページにはCanvasの説明が残っていますが、以下の確認済み公開リンクを使ってください。

本稿はToken Lab独自の自習ガイドであり、Stanfordの授業・認定・公式解答・全講義の書き起こしではありません。時間割、規則、課題PDF、設定ファイルを確認しましたが、全動画の視聴や有料モデル評価、課題の完遂は行っていません。解説・図・追加演習は独自制作で、公式教材は元サイトへリンクします。

実装に必要な前提知識

公式の前提はCS224N、CS224U、CS224V、CS336相当のNLP知識です。自習ではPythonの辞書、型、例外、ファイル操作、テストが必要です。ツール呼び出しはデータであり、子プロセスの失敗は会話全体のクラッシュではなく明示的な結果にします。HTTP、環境変数、Gitを理解し、秘密情報・コード・実験結果を分離してください。

次トークン予測、サンプリング、メッセージとトークンの違いを説明できることが重要です。文脈は現在見える情報を制限し、永続ストレージはプロンプト外の事実を保ちます。類似検索は真偽の検証ではありません。確率の基礎で単発成功と信頼性を区別し、代数でBM25と費用を理解します。Dockerは実行環境を再現しますが、安全な権限やモデル出力の決定性を保証しません。

小さなローカル資料と架空の利用者から始めましょう。企業メールを扱う課題だからといって勤務先のメールをアップロードしてはいけません。教材のアーカイブには独自の出典があります。AIが書いた関数を説明できなければ、範囲を絞りデータの流れを理解し直してください。

講義の知識依存関係

冒頭はエージェント、LLM、検索、ツールを接続します。固定ワークフローはコードが次の処理を決め、エージェントは一部をモデルに委ねます。メッセージ契約、証拠選択、スキーマもプログラムの意味になります。RAGは予算内の証拠選択、ツールは状態変更です。検索文書の指示を実行権限にしてはいけません。

基礎ループの実装後にフレームワークとパターンを評価します。状態グラフは遷移と失敗を明示し、自由なループは予測困難な作業に対応する反面、行動空間を広げます。記憶は永続情報を、多エージェントは分担と共有状態を変えます。協調コストと矛盾が増えるため、台数より契約が重要です。

最適化とデータは何をどの証拠で改善するかを問います。簡単な軌跡の重複は新たな失敗を網羅しません。調整前に訓練・開発・留保評価を分離します。Terminal-Benchは実装をタスク・環境・検証器につなぎます。結果の意味は対象分布と採点方法に依存します。

後半はLLM判定、評価基盤、SWE-bench、安全、コーディングと能動的エージェント、Andrew Ng対談、デモです。未公開録画の要約ではなく予定の整理です。新しい依頼なしに動くエージェントには、起動条件・範囲・予算・停止条件が事前に必要です。安全は最後のプロンプトではなく設計に属します。公開予定と公開済みを区別してください。

課題1:固定フローからAgent実行基盤へ

課題1ではフレームワークを使いません。LMはrole/contentメッセージを受け取り文字列を返すだけなので、ツールの説明・解析・実行を自作します。adaptersがテストとの契約です。cs329z_hw1内で実装し、提供型と採点コードを保持します。依存追加は禁止で、NumPyは利用可能です。Claude CodeやCodexと同等の製品を作る課題ではありません。

最初の4問はメール優先度、日次要約、BM25、多段メール質問応答です。BM25は語の希少性、出現頻度の飽和、長さの正規化を組み合わせます。同じ語の20回出現を20倍の証拠にしません。担当者を示すメールと後の決定メールを結合する場合、最初の検索結果の要約だけでは足りません。

後半では登録表、テキスト形式の呼び出し、有界ループ、社内ツール、文書検索、端末を追加します。モデル出力は信頼できない入力です。承認を求める前にツール名と引数を検証し、拒否や失敗も観察として記録します。実行状態と表示文を分けてください。教材の確認モードは非読み取り専用操作を対象にしますが、本番では読取時の情報漏えいも制御します。

圧縮、永続記憶、途中指示、ガードレールを加えます。圧縮は不可逆なので、利用者の制約、未完了の操作、証拠参照を保ちます。記憶はディレクトリと利用者で分離し、行動ログをモデルの要約に置き換えません。教材の端末制限は本番の安全境界ではありません。特にWindowsでnoneとなるsandbox.jail()を確認します。

課題2:目的の能力を測るタスク設計

Harborは評価を管理し、Dockerは環境を提供し、mini-SWE-agentは評価対象です。タスクには要求、初期ファイル、依存、資源制限、検証器、oracle解を含めます。oracleは解けることを確認する既知解で、評価対象には見せません。モデルの「完了しました」ではなく最終状態を検証して報酬を決めます。

ローカルHumanEvalからSWE-bench Verified、Terminal-Bench 2.1へ進み、自作タスクを作ります。版26.1.0ではpinned_agent.pyを使い、mini-SWE-agentとGemini 3.8 Flashを5回独立実行します。Python >=3.12,<3.14、Harbor 0.18.0という固定条件を保持します。これは教材の版に対応した条件であり、全新規開発への推奨ではありません。

例えば「無関係なサービスを変えず設定を修復する」という能力を明確にします。ファイルの存在だけの検証は弱く、oracleと同じパッチを要求すると正しい別解を拒否します。事後条件、不変条件、禁止された副作用を調べます。初期イメージへの解答混入、テスト漏えい、未固定の外部サービス、壊れたインストールによる難しさを避けます。

配点は基礎5%、例題10%、作問70%、相互評価15%。作問は再現性10、能力15、検証整合15、難度20、報告10です。課題文は3人のタスクの評価を求め、一般規則は2人と記載しています。この差を隠さず、履修者は課題固有の指示と教員に確認してください。

二つの課題をつなぐ仕組み

社員が経費規則を調べて操作を依頼する例を考えます。検索は証拠を提供しますが権限ではありません。Harnessは文書と版を結び付け、呼び出しと権限を確認して実行します。拒否された操作を別ツールで回避してはいけません。タイムアウトでは副作用が不明なので状態を確認してから再試行します。これは独自の本番向け拡張で、starterの保証ではありません。

モデルは資格情報やshellへ直接アクセスしません。全提案がホスト側のポリシーを通り、読取にもテナント境界を適用します。書込には承認と操作IDを付けます。観察はイベントログに記録し、文脈はその選択、永続記憶は別の範囲限定ストアです。実行証拠なしに完了を要約してはいけません。

文脈予算は指示・対話・観察・出力予約の合計です。合成例で16,000トークンのうち指示2,000、対話4,000、出力2,000なら証拠は8,000です。教材の4文字/トークンは近似で、多言語保証ではありません。本番では実際のtokenizerと追加費用を考慮します。

各段階が独立で95%成功する仮定では、10段階の全成功率は約59.9%です。実際の相関があるため予測値ではありませんが、短い経路、復旧、停止条件の重要性を示します。ツール増加は信頼性増加と同じではありません。

参考設計:モデルは提案し、ホストが認可・実行します。拒否は実行せずログに記録します。
参考設計:モデルは提案し、ホストが認可・実行します。拒否は実行せずログに記録します。

環境・モデルの版・費用の境界

HW1はPython 3.11+とuv、WindowsではBash用Git for WindowsまたはWSLが必要です。HW2はPython 3.12–3.13、uv、接続可能なDocker daemonを要求します。Apple SiliconのSWE-bench例はlinux/amd64を指定し、エミュレーションが必要な場合があります。環境を分けlockを保持してください。

HW1 READMEには採点用openai/gpt-6-lunaとjudge用openai/gpt-6-sol、HW2にはGeminiまたはOpenRouter経由のGemini 3.8 Flashとあります。これは確認した教材の識別子で、アクセス権や価格の保証ではありません。学外者は自分でキーと残高を用意します。今回有料呼び出しはせず、Token Labもキーや課題入力を収集しません。

参考解のliveテスト1回が$0.05、最終評価が$0.18という報告は合計$0.23の特定実行です。完遂費用の保証ではありません。修正・再試行で費用は増えます。キャッシュはモデル・サンプリング・正確なメッセージに依存し、キャッシュ命中は独立試行ではありません。

提供元の上限とCS329Z_BUDGET_USDを併用します。ローカル台帳の閾値は並行処理間の厳密な取引上限ではありません。.lm_cacheの削除は台帳も消します。版、token、費用を保存してください。端末やDockerがローカルでもliveテストは外部APIにプロンプトを送ります。

提出物・プロジェクト・教材の利用

全体配点はプロジェクト40%、課題15%、口頭確認15%、論文動画10%、相互評価20%。プロジェクトは提案5、中間報告5、中間デモ5、最終提出15、最終デモ10%です。自習者は節目を参考にできますが単位取得ではありません。確認したページでは最終プロジェクトの完全な公開ルーブリックは見つからず、以下は独自提案です。

SRE事故支援を作りましょう。架空の事故情報からrunbookを検索し、証拠付き診断と承認必須の限定操作を提案します。読取専用baselineから永続化・復旧へ進み、固定事故集合で欠落証拠や拒否操作も比較します。コード、lock、設定、設計、軌跡、費用、非対応操作を提出物にします。

公式論文動画は10–15分で、説明・批判・実験などの追加貢献を含み、配点は20+20+20+10です。限定公開YouTubeと材料を提出します。スライド、原稿、分析、語りは本人が作成し、AIは理解や助言に利用してもスライド作成は禁止です。プロジェクト報告のAI執筆も不可です。コード補助は理解と検証を前提とし、口頭で確認します。

両課題はMITで、再利用時は著作権とライセンス表示を保持します。ただし動画・スライド・第三者文献まで自動的に対象にはなりません。ここでは原本をリンクします。starter公開は他人の解答公開を許可するものではなく、履修者は非公開提出と学術規則を守ってください。

カリキュラムと学習順序

資料は授業順です。動画リンクなしは公開時間割にリンクがなかったという意味で、録画の不存在を示しません。文献名は原語のままです。

  1. エージェントシステム 資料 (5)
  2. 開発者のためのLLM 資料 (5)
  3. 検索拡張生成 資料 (4)
  4. ツール利用 資料 (4)
  5. フレームワークと調整 資料 (5)
  6. 設計パターン 資料 (6)
  7. 記憶アーキテクチャ 資料 (4)
  8. マルチエージェント 資料 (4)
  9. 最適化 資料 (4)
  10. Terminal-Bench 資料 (3)
  11. エージェントのデータ 資料 (3)
  12. データ選択と品質 資料 (4)
  13. 評価とベンチマーク 資料 (4)
  14. Andrew Ngとの対談 資料 (0)
  15. LLM判定と評価基盤 資料 (4)
  16. SWE-bench 資料 (1)
  17. 安全とガードレール 資料 (6)
  18. 休講 資料 (0)
  19. 休講 資料 (0)
  20. コーディングエージェント 資料 (4)
  21. プロアクティブエージェント 資料 (3)
  22. 最終デモ 資料 (0)

日程と提出物

日付(2026年、太平洋時間)主題
10-09 23:59企画提案
10-30課題1
11-06中間報告とデモ
11-13 23:59論文動画
11-23 23:59課題2タスク
11-30論文相互評価(2件)
12-02課題2相互評価(3件)
12-09 15:30–18:30最終デモ
12-11 23:59最終報告

実践・検証・自習計画

4段階で学習します。第1週:メッセージ契約と決定的処理・BM25。第2週:有界ハーネスと権限・要約・記憶の設計。第3週:oracle付き課題と検証器の抜け道確認。第4週:統制した5試行、失敗分析、報告。これは独自の自習案です。

課題1:採点の内訳

モジュール決定的テストLive API合計
priority123
daily_digest134
bm25808
email_qa268
tool_registry303
tool_protocol224
agent_loop808
cardinal202
search_docs235
terminal246
compaction538
memory358
interactive707
guardrails224
sim_eval01010

自動採点48+40=88、観察記録10、設計説明20。全体118点です。

まず決定的テストを実行します。liveとsimulationは外部にデータを送り費用が生じ得ます。ブラウザ内実験ではありません。鍵はGitに入れず.envへ。本站は有料テストや課題の代行を実施していません。

git clone https://github.com/cs329z/assignment1-harness.git
cd assignment1-harness
uv sync
uv run python data/download.py
uv run pytest
CS329Z_EVAL_SLICE=5 uv run pytest -m live -s
uv run python -m cs329z_hw1.simulation --slice 3
uv run python -m cs329z_hw1.chat --mode confirm
git clone https://github.com/cs329z/assignment2-evals.git
cd assignment2-evals
uv sync
uv run python check_submission.py

課題2:初期設定5%、例題10%、独自課題70%、相互評価15%。70%は再現性10、能力15、忠実性15、難度20、報告10。固定エージェントの実行コマンドは公式指示に従ってください。

uv run harbor run --path tasks/YOUR_TASK_ID --agent-import-path pinned_agent:MiniSweAgent --model openrouter/google/gemini-3.8-flash --env-file .env --n-attempts 5 --n-concurrent 1 --job-name YOUR_TASK_ID-gemini --jobs-dir tasks/YOUR_TASK_ID/artifacts --yes

独自のローカル演習:5試行は確実性ではない

標準ライブラリで独立なベルヌーイ試行5回中3成功の95% Wilson区間を求めます:0.2307–0.8824。空標本と両端も検証します。課題の妥当性ではなく標本の不確実性です。キャッシュ反復は独立な証拠ではありません。

ローカル演習をダウンロード
"""Token Lab original supplement. Python 3.11+, stdlib, no network or randomness."""
from math import sqrt

def wilson(successes, trials, z=1.959963984540054):
    if not isinstance(trials, int) or not isinstance(successes, int) or trials <= 0 or not 0 <= successes <= trials:
        raise ValueError("Require 0 <= successes <= positive integer trials")
    p = successes / trials
    denominator = 1 + z*z/trials
    center = (p + z*z/(2*trials)) / denominator
    half = z * sqrt(p*(1-p)/trials + z*z/(4*trials*trials)) / denominator
    return max(0.0, center-half), min(1.0, center+half)

if __name__ == "__main__":
    lo, hi = wilson(3, 5)
    assert abs(lo - 0.2307242813) < 1e-9
    assert abs(hi - 0.8823792258) < 1e-9
    assert wilson(0, 5)[0] < 1e-12
    assert abs(wilson(5, 5)[1] - 1) < 1e-12
    for args in [(0, 0), (6, 5), (-1, 5)]:
        try:
            wilson(*args)
        except ValueError:
            pass
        else:
            raise AssertionError("invalid input accepted")
    print(f"3/5: 95% Wilson interval [{lo:.4f}, {hi:.4f}]")
    print("PASS: boundaries and invalid inputs")
python3 uncertainty.py
# 3/5: 95% Wilson interval [0.2307, 0.8824]
# PASS: boundaries and invalid inputs

独自の模擬面接(企業の実際の質問ではありません)

1. 正しい構文が認可にならない理由は?

ヒント:構文と方針を分離。ホストが形式・主体・範囲・承認を検査します。モデルのは認可ではありません。正しい形式の禁止操作で確認します。

2. キャッシュで5成功なら信頼できるか?

ヒント:独立標本数。キャッシュは処理経路を確認しますが新しいモデル挙動を測りません。条件を固定した独立試行と設定・件数・不確実性を報告します。

3. 目的未達でもテストに通るのはなぜ?

ヒント:検証範囲。固定文字列や解答ファイル改変を許す弱い検査が原因です。抜け道・隠し検査の隔離・最終状態・oracleを確認します。妥当性なしの難しさは無意味です。

採点:1用語、2定義、3仕組み、4失敗と代替案、5公平な検証と証拠の限界。

公式資料・動画・参考文献

資料は授業順です。動画リンクなしは公開時間割にリンクがなかったという意味で、録画の不存在を示しません。文献名は原語のままです。

1. エージェントシステム

Wed Sep 23 · 2026

2. 開発者のためのLLM

Mon Sep 28 · 2026

3. 検索拡張生成

Wed Sep 30 · 2026

4. ツール利用

Mon Oct 5 · 2026

5. フレームワークと調整

Wed Oct 7 · 2026

6. 設計パターン

Mon Oct 12 · 2026

7. 記憶アーキテクチャ

Wed Oct 14 · 2026

8. マルチエージェント

Mon Oct 19 · 2026

9. 最適化

Wed Oct 21 · 2026

10. Terminal-Bench

Mon Oct 26 · 2026

11. エージェントのデータ

Wed Oct 28 · 2026

12. データ選択と品質

Mon Nov 2 · 2026

13. 評価とベンチマーク

Wed Nov 4 · 2026

14. Andrew Ngとの対談

Mon Nov 9 · 2026

    15. LLM判定と評価基盤

    Wed Nov 11 · 2026

    16. SWE-bench

    Mon Nov 16 · 2026

    17. 安全とガードレール

    Wed Nov 18 · 2026

    18. 休講

    Mon Nov 23 · 2026

      19. 休講

      Wed Nov 25 · 2026

        20. コーディングエージェント

        Mon Nov 30 · 2026

        21. プロアクティブエージェント

        Wed Dec 2 · 2026

        22. 最終デモ

        Wed Dec 9 · 2026

          学習ガイドと授業の目次学習目標と確認

          理解 → 実装 → 研究

          目標:仕組みを説明し、例を再現し、失敗例を検証します。読むだけでは習得したことになりません。

          予測・検証・根拠の記録

          解答を開く前に結果を予測し、演習後に差異と応用テストを記録します。端末内に保存し、言語版間で共有します。

          記録を開く/書き出す/消去する →

          数学的確認の範囲は授業ごとに記録されています。論文の実証再現の証明ではありません。疑問点はメモに記録してください。 確認範囲