Stanford CS329Z: AI 에이전트 공학 완전 학습 안내
교육과정, 하네스 구현, 평가 과제 설계를 이해하고 공개된 강의·영상·읽기 자료·과제를 찾아보세요.
출처 및 버전 정보
이 글의 목차
무엇을 배우며 무엇이 공개되었나
Harness는 모델 출력을 통제된 환경 상호작용으로 바꾸는 소프트웨어다. 동작 파싱, 도구 등록, 실행 경계, 문맥, 영속 상태, 종료 조건을 담당한다. 모델은 행동을 제안하고 프로그램은 유효성·권한·실행 가능성을 판단한다. 고정 워크플로에서 모델 주도 루프로 나아가고 실제 작동 증거를 확보하는 것이 이 안내서의 흐름이다.
CS329Z는 Stanford의 2026년 가을 Engineering AI Agents 과정으로 Diyi Yang, Michael Ryan, John Yang이 가르친다. 11월 11일 공식 시간표에는 슬라이드 PDF 13개, 공개 영상 2개, 5강 코드 저장소가 연결되어 있었다. 두 과제 저장소와 26.1.0 버전 안내문도 공개되었다. 예정 수업이 곧 공개 녹화를 뜻하지는 않는다. 운영 페이지에 Canvas 안내가 남아 있으므로 아래의 확인된 공개 링크를 이용한다.
이 글은 Token Lab의 독립 자습 안내서이며 Stanford 수업·인증서·공식 해답·전체 강의 녹취록이 아니다. 시간표, 규칙, 과제 PDF, 저장소 설정을 확인했지만 모든 영상을 시청하거나 유료 모델 평가와 과제를 완수하지는 않았다. 해설·그림·추가 연습은 자체 작성했고 공식 자료는 원본으로 연결한다.
실제로 구현하기 위한 선수 지식
공식 선수 조건은 CS224N·CS224U·CS224V·CS336에 준하는 NLP 배경이다. 자습에서는 Python 사전, 타입, 예외, 파일 I/O와 테스트를 이해해야 한다. 도구 호출은 데이터 객체이며 하위 프로세스 실패는 대화 전체를 중단시키지 않고 명시적 결과가 되어야 한다. HTTP, 환경 변수, Git을 통해 비밀키·코드·실험 산출물을 구분한다.
다음 토큰 예측, 샘플링, 메시지와 토큰의 차이를 설명할 수 있어야 한다. 문맥은 지금 모델이 보는 정보를 제한하며 영속 저장소는 프롬프트 밖의 사실을 보존한다. 유사도 검색은 사실 검증이 아니다. 확률 기초는 우연한 성공과 신뢰성을 구별하고, 기초 대수는 BM25와 비용 계산에 필요하다. Docker는 실행 환경을 재현하지만 안전한 권한이나 결정적 모델 출력을 보장하지 않는다.
작은 로컬 자료와 가상 신원으로 시작한다. 기업 이메일 과제라는 이유로 고용주의 메일을 업로드하지 않는다. 제공 자료에는 별도 출처가 있다. AI가 작성한 함수를 설명할 수 없다면 범위를 줄여 데이터 흐름부터 재구성한다.
강의의 지식 의존 관계
초반은 에이전트, LLM, 검색, 도구를 연결합니다. 고정 흐름은 코드가 다음 단계를 정하고 에이전트는 일부를 모델에 맡깁니다. 메시지 계약·증거 선택·스키마도 프로그램 의미가 됩니다. RAG는 예산 안에서 증거를 고르고 도구는 상태를 바꿉니다. 검색된 지시를 권한으로 오해하지 마세요.
기본 루프 구현 후 프레임워크와 패턴을 평가합니다. 명시적 그래프는 상태·실패를 드러내며 자유 루프는 덜 예측 가능한 작업을 처리하지만 행동 공간이 커집니다. 메모리는 지속 정보를, 다중 에이전트는 분담과 공유 상태를 바꿉니다. 조정 비용과 모순이 늘므로 개수보다 계약이 중요합니다.
최적화·데이터는 무엇을 어떤 증거로 개선할지 묻습니다. 쉬운 궤적 반복은 새로운 실패를 덮지 못합니다. 튜닝 전에 훈련·개발·홀드아웃을 나누세요. Terminal-Bench는 구현과 작업·환경·검증기를 연결합니다. 점수의 의미는 대상 분포와 채점 절차에 달려 있습니다.
후반은 LLM 심사·평가 인프라, SWE-bench, 안전, 코딩·능동형 에이전트, Andrew Ng 대담, 시연입니다. 미공개 녹화 요약이 아닌 시간표 주제입니다. 새 요청 없이 행동하는 에이전트는 트리거·범위·예산·중지 조건이 미리 필요합니다. 안전은 마지막 프롬프트 문구가 아닌 설계 요소입니다. 예정과 공개를 구분하세요.
과제 1: 고정 워크플로에서 Agent 런타임으로
과제 1은 Agent 프레임워크를 사용하지 않는다. LM은 role/content 메시지를 받아 문자열만 반환하므로 도구 설명, 호출 파싱, 실행을 직접 만든다. adapters가 테스트 계약이다. cs329z_hw1 내부에서 구현하고 제공 타입과 채점 코드를 보존한다. 의존성 추가는 금지되며 NumPy는 이미 제공된다. Claude Code나 Codex의 모든 기능을 재현하는 과제가 아니다.
앞의 네 문제는 이메일 우선순위, 일일 요약, BM25, 다중 홉 이메일 질의응답이다. BM25는 단어 희소성, 빈도 포화, 길이 정규화를 결합한다. 같은 단어가 20번 등장한다고 증거가 20배가 되지는 않는다. 담당자를 알려 주는 메일과 이후 결정을 담은 메일을 연결해야 한다면 첫 검색 결과의 요약만으로는 부족하다.
후반에는 레지스트리, 텍스트 호출 프로토콜, 제한된 루프, 기업 도구, 문서 검색, 터미널을 추가한다. 모델 출력은 신뢰할 수 없는 입력이다. 승인 전에 도구 이름과 인자를 검증하고 거절과 실패도 관측 결과로 기록한다. 실제 실행 상태와 표시 문장을 구분한다. 교육용 확인 모드는 읽기 전용이 아닌 호출을 검사하지만 운영에서는 읽기에 따른 정보 유출도 통제해야 한다.
압축, 영속 메모리, 사용자 개입, 가드레일을 더한다. 압축은 손실 변환이므로 사용자 제약, 미완료 동작, 증거 위치를 보존한다. 디렉터리와 사용자별 메모리를 격리하며 실제 동작 장부를 모델 요약으로 대체하지 않는다. 교육용 터미널 제한은 운영 보안 경계가 아니다. 특히 Windows에서 none인 sandbox.jail()을 확인한다.
과제 2: 올바른 능력을 측정하는 과제 설계
Harbor는 평가를 조정하고 Docker는 과제 환경을 제공하며 mini-SWE-agent는 평가 대상이다. 과제 패키지는 요청, 초기 파일과 의존성, 자원 제한, 검증기, oracle 해법을 정의한다. Oracle은 과제가 풀린다는 것을 확인하는 알려진 해법이며 평가 Agent에는 공개하면 안 된다. 모델의 완료 선언이 아니라 최종 환경 상태로 보상을 결정한다.
로컬 HumanEval, SWE-bench Verified, Terminal-Bench 2.1을 거쳐 직접 과제를 만든다. 26.1.0은 pinned_agent.py를 통해 mini-SWE-agent와 Gemini 3.8 Flash를 독립적으로 다섯 번 실행하도록 요구한다. Python >=3.12,<3.14와 Harbor 0.18.0 고정을 유지한다. 이는 해당 수업 버전의 조건이지 모든 신규 프로젝트의 권장 버전은 아니다.
예를 들어 다른 서비스를 바꾸지 않고 설정을 복구하는 능력을 정의한다. 파일 존재만 보는 검증기는 약하며 oracle과 동일한 패치를 강제하면 올바른 대안을 거부한다. 사후 조건, 불변식, 금지된 부작용을 검사한다. 초기 이미지의 정답 노출, 테스트 누출, 버전 미고정 원격 서비스, 설치 오류에 의한 난이도를 피한다.
비중은 기초 5%, 예제 10%, 직접 과제 제작 70%, 동료 검토 15%다. 제작 70점은 재현성 10, 능력 15, 과제-검증 정합성 15, 난이도 20, 보고서 10이다. 과제문은 동료 세 명을, 일반 운영 안내는 두 명을 검토하도록 적었다. 차이를 숨기지 않으며 수강생은 구체적 과제 지침과 교직원에게 확인해야 한다.
두 과제를 연결하는 기술 원리
직원이 환급 규정을 묻고 작업을 요청한다고 하자. 검색은 증거이지 권한이 아니다. Harness는 문서와 버전을 연결하고 호출 및 권한을 확인한 뒤 실행한다. 거절된 작업을 다른 도구로 우회하면 안 된다. 타임아웃은 부작용 여부가 불확실하므로 재시도 전에 상태를 조회한다. 이는 자체 운영 확장 설계이며 starter가 보장한다는 뜻이 아니다.
모델은 자격 증명이나 shell에 직접 접근하지 않는다. 모든 제안은 호스트의 정책 관문을 지나며 읽기도 tenant 범위를 준수한다. 쓰기는 승인과 작업 ID를 가진다. 관측은 이벤트 로그에 저장하고 문맥은 그중 선택한 뷰이며 영속 메모리는 별도 범위 저장소다. 실행 증거가 있어야 완료되었다고 요약할 수 있다.
문맥 예산은 지시·대화·관측·출력 예약의 합이다. 합성 예제의 16,000 토큰 중 시스템 2,000, 대화 4,000, 출력 예약 2,000이면 증거에 8,000이 남는다. 4문자/토큰은 수업의 근사치이지 다국어 보장이 아니다. 운영에서는 실제 tokenizer와 부가 오버헤드를 고려한다.
단계별 성공률 95%와 독립성을 가정하면 열 단계가 모두 성공할 확률은 약 59.9%다. 실제 상관관계 때문에 예측값은 아니지만 짧은 실행 경로·복구·명확한 종료가 필요한 이유를 보여 준다. 도구 증가가 신뢰성 증가를 뜻하지는 않는다.
환경, 모델 버전, 현실적 비용
HW1은 Python 3.11+와 uv, Windows에서는 Bash용 Git for Windows 또는 WSL이 필요하다. HW2는 Python 3.12–3.13, uv, 연결 가능한 Docker daemon을 요구한다. Apple Silicon의 SWE-bench 예제는 linux/amd64 설정으로 에뮬레이션이 필요할 수 있다. 프로젝트 환경을 분리하고 lock을 유지한다.
HW1 README에는 평가 모델 openai/gpt-6-luna와 judge openai/gpt-6-sol, HW2에는 Gemini 또는 OpenRouter의 Gemini 3.8 Flash가 적혀 있다. 확인한 자료의 식별자이며 접근 권한이나 가격을 보장하지 않는다. 외부 학습자는 키와 크레딧을 준비해야 한다. 이번에 유료 호출을 실행하지 않았으며 Token Lab은 키나 과제 입력을 수집하지 않는다.
참고 해답 live 테스트 $0.05와 최종 평가 $0.18은 특정 실행의 합계 $0.23이다. 과제 완수 비용 보장이 아니다. 수정과 재시도는 새 호출을 만든다. 캐시는 모델·샘플링·정확한 메시지에 의존하며 캐시 응답은 독립 시행이 아니다.
제공자 한도와 CS329Z_BUDGET_USD를 함께 설정한다. 로컬 장부의 임계치는 동시 프로세스 간의 정확한 거래 한도가 아니다. .lm_cache를 지우면 장부도 사라진다. 버전·토큰·비용 기록을 남긴다. 로컬 터미널과 Docker 실행이어도 live 테스트는 외부 API로 프롬프트를 보낸다.
제출물, 프로젝트, 자료 재사용
전체 배점은 프로젝트 40%, 과제 15%, 구술 확인 15%, 논문 영상 10%, 동료 검토 20%다. 프로젝트는 제안 5, 중간 보고 5, 중간 데모 5, 최종 제출 15, 최종 데모 10%로 구성된다. 자습자는 이정표를 참고할 수 있지만 학점은 아니다. 확인한 페이지에서 최종 프로젝트의 완전한 공개 rubric은 찾지 못했으므로 다음 계획은 자체 제안이다.
SRE 사고 도우미를 만든다. 가상 사고 스냅샷에서 runbook을 검색하고 증거 기반 진단 및 승인 필요한 제한 작업을 제안한다. 읽기 전용 baseline부터 영속화·복구로 진행하고 고정 사고 집합에서 증거 누락과 거절 작업도 비교한다. 코드, lock, 설정, 설계, 궤적, 비용, 미지원 작업을 제출물로 삼는다.
공식 논문 영상은 10–15분이며 설명·비판·실험 등의 추가 기여를 포함하고 배점은 20+20+20+10이다. 일부 공개 YouTube 링크와 자료를 제출한다. 슬라이드·대본·분석·내레이션은 본인이 작성해야 하고 AI는 이해와 피드백에만 활용하며 슬라이드 제작은 금지된다. 프로젝트 보고서의 AI 대필도 금지된다. 코드 지원은 이해와 검증이 전제이며 구술로 확인한다.
두 과제는 MIT이므로 재사용할 때 저작권과 라이선스 고지를 유지한다. 영상·슬라이드·외부 논문까지 자동으로 적용되지는 않아 여기서는 원본 링크를 제공한다. Starter 공개가 동료 해답 공개를 허용하지는 않는다. 수강생은 비공개 제출과 학업 규칙을 지킨다.
교육과정과 학습 순서
자료는 강의 순서입니다. 영상 링크 없음은 확인한 시간표에 공개 링크가 없다는 뜻이며 녹화 부재를 의미하지 않습니다. 문헌 제목은 원어를 유지합니다.
- 에이전트 시스템 자료 (5)
- 개발자를 위한 LLM 자료 (5)
- 검색 증강 생성 자료 (4)
- 도구 사용 자료 (4)
- 프레임워크와 오케스트레이션 자료 (5)
- 설계 패턴 자료 (6)
- 메모리 구조 자료 (4)
- 다중 에이전트 자료 (4)
- 최적화 자료 (4)
- Terminal-Bench 자료 (3)
- 에이전트 데이터 자료 (3)
- 데이터 선택·품질 자료 (4)
- 평가·벤치마크 자료 (4)
- Andrew Ng 대담 자료 (0)
- LLM 심사·평가 인프라 자료 (4)
- SWE-bench 자료 (1)
- 안전·가드레일 자료 (6)
- 휴강 자료 (0)
- 휴강 자료 (0)
- 코딩 에이전트 자료 (4)
- 능동형 에이전트 자료 (3)
- 최종 시연 자료 (0)
일정과 제출물
| 날짜 (2026, 태평양 시간) | 주제 |
|---|---|
| 10-09 23:59 | 프로젝트 제안 |
| 10-30 | 과제 1 |
| 11-06 | 중간 보고·시연 |
| 11-13 23:59 | 논문 영상 |
| 11-23 23:59 | 과제 2 작업 |
| 11-30 | 논문 동료 평가 (2) |
| 12-02 | 과제 2 동료 평가 (3) |
| 12-09 15:30–18:30 | 최종 시연 |
| 12-11 23:59 | 최종 보고 |
실습·검증·자습 계획
4단계로 공부하세요. 1주: 메시지 계약과 결정론적 처리·BM25. 2주: 제한된 하네스와 권한·요약·메모리 설계. 3주: oracle과 적대적 검증을 포함한 과제. 4주: 통제된 5회 실행, 실패 분석, 보고서. 공식 일정이 아닌 자체 자습안입니다.
과제 1: 채점 구성
| 모듈 | 결정론적 검사 | Live API | 합계 |
|---|---|---|---|
| priority | 1 | 2 | 3 |
| daily_digest | 1 | 3 | 4 |
| bm25 | 8 | 0 | 8 |
| email_qa | 2 | 6 | 8 |
| tool_registry | 3 | 0 | 3 |
| tool_protocol | 2 | 2 | 4 |
| agent_loop | 8 | 0 | 8 |
| cardinal | 2 | 0 | 2 |
| search_docs | 2 | 3 | 5 |
| terminal | 2 | 4 | 6 |
| compaction | 5 | 3 | 8 |
| memory | 3 | 5 | 8 |
| interactive | 7 | 0 | 7 |
| guardrails | 2 | 2 | 4 |
| sim_eval | 0 | 10 | 10 |
자동 채점48+40=88, 관찰 기록10, 설계 설명20. 전체118점입니다.
결정론적 테스트부터 실행하세요. live와 simulation은 외부로 데이터를 보내고 비용이 발생할 수 있으며 브라우저 로컬 실험이 아닙니다. 키는 Git 밖의 .env에 보관하세요. 유료 테스트나 과제 대행은 수행하지 않았습니다.
git clone https://github.com/cs329z/assignment1-harness.git
cd assignment1-harness
uv sync
uv run python data/download.py
uv run pytestCS329Z_EVAL_SLICE=5 uv run pytest -m live -s
uv run python -m cs329z_hw1.simulation --slice 3
uv run python -m cs329z_hw1.chat --mode confirmgit clone https://github.com/cs329z/assignment2-evals.git
cd assignment2-evals
uv sync
uv run python check_submission.py
과제 2: 설정5%, 예제10%, 자체 작업70%, 동료 평가15%. 70%는 재현성10, 능력15, 충실도15, 난도20, 보고10입니다. 고정 에이전트 명령은 공식 안내를 따르세요.
uv run harbor run --path tasks/YOUR_TASK_ID --agent-import-path pinned_agent:MiniSweAgent --model openrouter/google/gemini-3.8-flash --env-file .env --n-attempts 5 --n-concurrent 1 --job-name YOUR_TASK_ID-gemini --jobs-dir tasks/YOUR_TASK_ID/artifacts --yes자체 로컬 연습: 5회 시도는 확실성이 아니다
독립 베르누이 5회 중 3회 성공의 95% Wilson 구간은 0.2307–0.8824입니다. 표준 라이브러리 코드로 빈 표본과 양끝도 확인합니다. 과제 타당성이 아닌 표본 불확실성이며 캐시 반복은 독립 증거가 아닙니다.
로컬 연습 다운로드"""Token Lab original supplement. Python 3.11+, stdlib, no network or randomness."""
from math import sqrt
def wilson(successes, trials, z=1.959963984540054):
if not isinstance(trials, int) or not isinstance(successes, int) or trials <= 0 or not 0 <= successes <= trials:
raise ValueError("Require 0 <= successes <= positive integer trials")
p = successes / trials
denominator = 1 + z*z/trials
center = (p + z*z/(2*trials)) / denominator
half = z * sqrt(p*(1-p)/trials + z*z/(4*trials*trials)) / denominator
return max(0.0, center-half), min(1.0, center+half)
if __name__ == "__main__":
lo, hi = wilson(3, 5)
assert abs(lo - 0.2307242813) < 1e-9
assert abs(hi - 0.8823792258) < 1e-9
assert wilson(0, 5)[0] < 1e-12
assert abs(wilson(5, 5)[1] - 1) < 1e-12
for args in [(0, 0), (6, 5), (-1, 5)]:
try:
wilson(*args)
except ValueError:
pass
else:
raise AssertionError("invalid input accepted")
print(f"3/5: 95% Wilson interval [{lo:.4f}, {hi:.4f}]")
print("PASS: boundaries and invalid inputs")
python3 uncertainty.py
# 3/5: 95% Wilson interval [0.2307, 0.8824]
# PASS: boundaries and invalid inputs자체 모의 면접 — 실제 기업 기출 아님
1. 유효한 구문이 권한을 뜻하지 않는 이유는?
힌트: 파싱과 정책 분리. 호스트가 스키마·신원·범위·승인을 검사해야 합니다. 모델의
2. 캐시 성공 5회가 신뢰성을 증명하는가?
힌트: 독립 표본 수. 캐시는 흐름을 검사할 뿐 새 모델 변동을 측정하지 않습니다. 통제된 독립 실행과 설정·횟수·불확실성을 보고하세요.
3. 목표 달성 없이 테스트를 통과하는 이유는?
힌트: 검증 범위. 약한 검사는 고정 문자열이나 답안 파일 변조를 허용합니다. 우회·숨은 검사 격리·최종 상태·oracle을 확인하세요. 타당성 없는 난도는 무의미합니다.
채점: 1 개념명, 2 정의, 3 메커니즘, 4 실패·대안, 5 공정한 검증과 증거 한계.
공식 자료·영상·참고 문헌
- 공식 강의https://cs329z.stanford.edu/
- 강의 규칙https://cs329z.stanford.edu/logistics.html
- 과제 1 · GitHubhttps://github.com/cs329z/assignment1-harness · PDF v26.1.0https://github.com/cs329z/assignment1-harness/blob/main/cs329z_assignment1_harness.pdf
- 과제 2 · GitHubhttps://github.com/cs329z/assignment2-evals · PDF v26.1.0https://github.com/cs329z/assignment2-evals/blob/main/cs329z_assignment2_evaluation.pdf
- 논문 영상 과제 · PDFhttps://web.stanford.edu/class/cs329z/assignments/paper_video.pdf
자료는 강의 순서입니다. 영상 링크 없음은 확인한 시간표에 공개 링크가 없다는 뜻이며 녹화 부재를 의미하지 않습니다. 문헌 제목은 원어를 유지합니다.
1. 에이전트 시스템
Wed Sep 23 · 2026
- 슬라이드https://web.stanford.edu/class/cs329z/slides/lecture01.pdf
- 영상https://youtu.be/DGI4vucR71w
- Zaharia et al. "The Shift from Models to Compound AI Systems." BAIR Blog (2024).https://bair.berkeley.edu/blog/2024/02/18/compound-ai-systems/
- Weng. "LLM Powered Autonomous Agents." Lil'Log (2023).https://lilianweng.github.io/posts/2023-06-23-agent/
- Kapoor et al. "AI Agents That Matter." TMLR (2025).https://arxiv.org/abs/2407.01502
2. 개발자를 위한 LLM
Mon Sep 28 · 2026
- 슬라이드https://web.stanford.edu/class/cs329z/slides/lecture02.pdf
- 영상https://youtu.be/Vr1NzH8bT44
- Vaswani et al. "Attention Is All You Need." NeurIPS (2017).https://arxiv.org/abs/1706.03762
- Katharopoulos et al. "Transformers are RNNs: Fast Autoregressive Transformers with Linear Attention." ICML (2020).https://arxiv.org/abs/2006.16236
- Rajasekaran et al. "Effective Context Engineering for AI Agents." Anthropic (2025).https://www.anthropic.com/engineering/effective-context-engineering-for-ai-agents
3. 검색 증강 생성
Wed Sep 30 · 2026
- 슬라이드https://web.stanford.edu/class/cs329z/slides/lecture03.pdf
- Lewis et al. "Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks." NeurIPS (2020).https://arxiv.org/abs/2005.11401
- Karpukhin et al. "Dense Passage Retrieval for Open-Domain Question Answering." EMNLP (2020).https://arxiv.org/abs/2004.04906
- Khattab & Zaharia. "ColBERT: Efficient and Effective Passage Search via Contextualized Late Interaction over BERT." SIGIR (2020).https://arxiv.org/abs/2004.12832
4. 도구 사용
Mon Oct 5 · 2026
- 슬라이드https://web.stanford.edu/class/cs329z/slides/lecture04.pdf
- Schick et al. "Toolformer: Language Models Can Teach Themselves to Use Tools." NeurIPS (2023).https://arxiv.org/abs/2302.04761
- Patil et al. "Gorilla: Large Language Model Connected with Massive APIs." NeurIPS (2024).https://arxiv.org/abs/2305.15334
- Model Context Protocol Specification, revision 2025-06-18. modelcontextprotocol.io (2025).https://modelcontextprotocol.io/specification/2025-06-18
5. 프레임워크와 오케스트레이션
Wed Oct 7 · 2026
- 슬라이드https://web.stanford.edu/class/cs329z/slides/lecture05.pdf
- 코드https://github.com/cs329z/lecture5-frameworks
- Khattab et al. "DSPy: Compiling Declarative Language Model Calls into Self-Improving Pipelines." ICLR (2024).https://arxiv.org/abs/2310.03714
- LangChain. "LangGraph Overview." LangChain Docs.https://docs.langchain.com/oss/python/langgraph/overview
- Arena.ai. "HarnessTax: How Much Does the Harness Matter for Coding Agents?" Arena Blog (2026).https://arena.ai/blog/coding-agents-harness-tax
6. 설계 패턴
Mon Oct 12 · 2026
- 슬라이드https://web.stanford.edu/class/cs329z/slides/lecture06.pdf
- Yao et al. "ReAct: Synergizing Reasoning and Acting in Language Models." ICLR (2023).https://arxiv.org/abs/2210.03629
- Schluntz & Zhang. "Building Effective AI Agents." Anthropic (2024).https://www.anthropic.com/engineering/building-effective-agents
- LangChain. "Context Engineering." LangChain Blog (2025).https://www.langchain.com/blog/context-engineering-for-agents
- Shinn et al. "Reflexion: Language Agents with Verbal Reinforcement Learning." NeurIPS (2023).https://arxiv.org/abs/2303.11366
- Wang et al. "Executable Code Actions Elicit Better LLM Agents." ICML (2024).https://arxiv.org/abs/2402.01030
7. 메모리 구조
Wed Oct 14 · 2026
- 슬라이드https://web.stanford.edu/class/cs329z/slides/lecture07.pdf
- Sumers et al. "Cognitive Architectures for Language Agents." TMLR (2024).https://arxiv.org/abs/2309.02427
- Packer et al. "MemGPT: Towards LLMs as Operating Systems." arXiv (2023).https://arxiv.org/abs/2310.08560
- Park et al. "Generative Agents: Interactive Simulacra of Human Behavior." UIST (2023).https://arxiv.org/abs/2304.03442
8. 다중 에이전트
Mon Oct 19 · 2026
- 슬라이드https://web.stanford.edu/class/cs329z/slides/lecture08.pdf
- Wu et al. "AutoGen: Enabling Next-Gen LLM Applications via Multi-Agent Conversation." COLM (2024).https://arxiv.org/abs/2308.08155
- Cemri et al. "Why Do Multi-Agent LLM Systems Fail?" NeurIPS Datasets & Benchmarks (2025).https://arxiv.org/abs/2503.13657
- Kim et al. "Towards a Science of Scaling Agent Systems." arXiv (2025).https://arxiv.org/abs/2512.08296
9. 최적화
Wed Oct 21 · 2026
- 슬라이드https://web.stanford.edu/class/cs329z/slides/lecture09.pdf
- Agrawal et al. "GEPA: Reflective Prompt Evolution Can Outperform Reinforcement Learning." ICLR (2026).https://arxiv.org/abs/2507.19457
- Opsahl-Ong et al. "Optimizing Instructions and Demonstrations for Multi-Stage Language Model Programs." EMNLP (2024).https://arxiv.org/abs/2406.11695
- Shao et al. "DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models." arXiv (2024).https://arxiv.org/abs/2402.03300
10. Terminal-Bench
Mon Oct 26 · 2026
11. 에이전트 데이터
Wed Oct 28 · 2026
- 슬라이드https://web.stanford.edu/class/cs329z/slides/lecture11.pdf
- Shankar. "Data Flywheels for LLM Applications." (2024).https://www.sh-reya.com/blog/ai-engineering-flywheel/
- Tan et al. "Large Language Models for Data Annotation and Synthesis: A Survey." EMNLP (2024).https://aclanthology.org/2024.emnlp-main.54/
12. 데이터 선택·품질
Mon Nov 2 · 2026
- 슬라이드https://web.stanford.edu/class/cs329z/slides/lecture12.pdf
- Yang et al. "SWE-smith: Scaling Data for Software Engineering Agents." NeurIPS D&B (2025).https://arxiv.org/abs/2504.21798
- Shankar et al. "Who Validates the Validators? Aligning LLM-Assisted Evaluation with Human Preferences." UIST (2024).https://arxiv.org/abs/2404.12272
- Zhou et al. "LIMA: Less Is More for Alignment." NeurIPS (2023).https://arxiv.org/abs/2305.11206
13. 평가·벤치마크
Wed Nov 4 · 2026
- 슬라이드https://web.stanford.edu/class/cs329z/slides/lecture13.pdf
- Zhu et al. "Establishing Best Practices for Building Rigorous Agentic Benchmarks." (2025).https://arxiv.org/abs/2507.02825
- Press. "How to Build Good Language Modeling Benchmarks." (2024).https://ofir.io/How-to-Build-Good-Language-Modeling-Benchmarks/
- Polo et al. "tinyBenchmarks: Evaluating LLMs with Fewer Examples." ICML (2024).https://arxiv.org/abs/2402.14992
14. Andrew Ng 대담
Mon Nov 9 · 2026
15. LLM 심사·평가 인프라
Wed Nov 11 · 2026
- Grace et al. "Demystifying Evals for AI Agents." Anthropic (2026).https://www.anthropic.com/engineering/demystifying-evals-for-ai-agents
- Zheng et al. "Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena." NeurIPS (2023).https://arxiv.org/abs/2306.05685
- Ryan et al. "AutoMetrics: Approximate Human Judgements with Automatically Generated Evaluators." ICLR (2026).https://arxiv.org/abs/2512.17267
- Zhu et al. "AutoLibra: Agent Metric Induction from Open-Ended Human Feedback." ICLR (2026).https://openreview.net/forum?id=4BjGVZ7Bxn
16. SWE-bench
Mon Nov 16 · 2026
17. 안전·가드레일
Wed Nov 18 · 2026
- Shao et al. "PrivacyLens: Evaluating Privacy Norm Awareness of LMs in Action." NeurIPS D&B (2024).https://arxiv.org/abs/2409.00138
- Zhang & Yang. "Searching for Privacy Risks in LLM Agents via Simulation." arXiv (2025).https://arxiv.org/abs/2508.10880
- Li. "Agentic LLMs as Powerful Deanonymizers." arXiv (2026).https://arxiv.org/abs/2601.05918
- Wen et al. "Contextualized Privacy Defense for LLM Agents." arXiv (2026).https://arxiv.org/abs/2603.02983
- OpenAI. "Understanding Prompt Injections: A Frontier Security Challenge." (2025).https://openai.com/index/prompt-injections/
- Anthropic. "Anthropic's Responsible Scaling Policy." (2023).https://www.anthropic.com/news/anthropics-responsible-scaling-policy
18. 휴강
Mon Nov 23 · 2026
19. 휴강
Wed Nov 25 · 2026
20. 코딩 에이전트
Mon Nov 30 · 2026
- Yang et al. "SWE-agent: Agent-Computer Interfaces Enable Automated Software Engineering." NeurIPS (2024).https://arxiv.org/abs/2405.15793
- Wang et al. "OpenHands: An Open Platform for AI Software Developers." ICLR (2025).https://arxiv.org/abs/2407.16741
- Anthropic. "Claude Code: Best Practices for Agentic Coding." (2025).https://www.anthropic.com/engineering/claude-code-best-practices
- Young. "Effective Harnesses for Long-Running Agents." Anthropic (2025).https://www.anthropic.com/engineering/effective-harnesses-for-long-running-agents
21. 능동형 에이전트
Wed Dec 2 · 2026
- Shaikh et al. "Creating General User Models from Computer Use." UIST (2025).https://arxiv.org/abs/2505.10831
- Shaikh et al. "Learning Next Action Predictors from Human-Computer Interaction." arXiv (2026).https://arxiv.org/abs/2603.05923
- Steinberger. "OpenClaw: Open-source proactive AI agent." (2025).https://github.com/openclaw/openclaw
22. 최종 시연
Wed Dec 9 · 2026