Token LabBuscar

STANFORD CS329Z · FALL 2026

Stanford CS329Z: guía completa de ingeniería de agentes

Comprenda el programa, construya un harness, diseñe una tarea de evaluación y encuentre las clases, lecturas y trabajos publicados.

AI AgentsHarnessBM25HarborEvaluation

Fuentes y versiones
En este artículo

Qué enseña el curso y qué es público

Un harness convierte la salida del modelo en interacción controlada: analiza acciones, registra herramientas, aplica límites, administra contexto y estado, y decide cuándo detenerse. El modelo propone; el programa decide si la acción es válida, autorizada y ejecutable. El recorrido empieza por flujos fijos, continúa con bucles dirigidos por el modelo y termina con evidencia de funcionamiento.

CS329Z es Engineering AI Agents, Stanford, otoño de 2026, con Diyi Yang, Michael Ryan y John Yang. El 11 de noviembre, el calendario enlazaba 13 PDF, dos vídeos públicos y el código de la quinta clase. Los dos repositorios de tareas y sus enunciados 26.1.0 eran públicos. Una clase programada no implica que exista grabación pública. La página logística todavía menciona Canvas: utiliza los enlaces públicos verificados, sin asumir acceso a Canvas.

Esta guía independiente de Token Lab no es un curso, certificado, solucionario oficial ni transcripción de Stanford. Revisamos calendario, normas, enunciados y configuración de repositorios; no vimos todas las clases ni ejecutamos las evaluaciones de pago. Las explicaciones, figuras y ejercicios adicionales son nuestros. Los materiales oficiales permanecen en sus sitios originales.

Requisitos para construir de verdad

El requisito oficial es formación NLP equivalente a CS224N, CS224U, CS224V o CS336. Para estudiar por tu cuenta necesitas diccionarios, tipos, excepciones, archivos y pruebas de Python: una llamada a herramienta es un objeto; un subproceso fallido debe producir un resultado explícito. HTTP, variables de entorno y Git permiten separar secretos, código y resultados.

Comprende predicción del siguiente token, muestreo y mensajes frente a tokens. El contexto limita la información visible ahora; el almacenamiento conserva hechos fuera del prompt. Recuperar por similitud no verifica la verdad. La probabilidad distingue éxito ocasional y fiabilidad; álgebra básica basta para BM25 y costes. Docker reproduce archivos y procesos, pero no garantiza permisos seguros ni respuestas deterministas.

Empieza con datos pequeños e identidades sintéticas. No subas el correo de tu empresa por imitar el ejercicio: el archivo educativo tiene procedencia propia. Si no puedes explicar una función escrita con IA, reduce su alcance y reconstruye su flujo de datos antes de avanzar.

Cómo se conectan las clases

El bloque inicial conecta agentes, LLM, recuperación y herramientas. Un flujo fijo elige el siguiente paso en código; un agente delega parte de esa elección al modelo. Mensajes, selección de evidencia y esquemas se convierten en semántica del programa. RAG selecciona evidencia bajo presupuesto; las herramientas cambian estado. No convierta instrucciones recuperadas en autorización.

Tras implementar el bucle, evalúe frameworks y patrones. Un grafo expone estados y fallos; un bucle libre admite tareas menos previsibles pero amplía el espacio de acciones. La memoria decide qué persiste. Varios agentes requieren propiedad clara de subtareas y estado compartido; añaden coordinación y conflictos, no fiabilidad automática.

El bloque de optimización y datos pregunta qué mejorar y con qué evidencia. Datos repetidos fáciles no cubren fallos nuevos. Separe entrenamiento, desarrollo y evaluación reservada antes de ajustar. Terminal-Bench conecta implementación con tarea, entorno y verificador. La calidad y el benchmark determinan qué significa un resultado en esa distribución.

El resto del programa incluye jueces LLM, infraestructura, SWE-bench, seguridad, agentes de programación y proactivos, conversación con Andrew Ng y demos. Son temas del calendario, no resúmenes de grabaciones inéditas. Un agente proactivo necesita de antemano disparador, alcance, presupuesto y parada. La seguridad pertenece al diseño, no a una frase final del prompt. Consulte nuevas publicaciones en el programa.

Tarea 1: de flujos fijos a un runtime

La primera tarea elimina los frameworks: LM recibe mensajes role/content y devuelve texto. Debes describir herramientas, interpretar llamadas y ejecutarlas. Los adapters son el contrato de las pruebas; implementa dentro de cs329z_hw1, conserva los tipos y no modifiques el evaluador ni añadas dependencias. NumPy ya está disponible. El objetivo es un harness educativo, no reproducir todas las funciones de Claude Code o Codex.

Los cuatro primeros problemas construyen prioridad de correos, resumen diario, BM25 y preguntas multisalto. BM25 combina rareza del término, saturación de frecuencia y normalización por longitud: repetir veinte veces una palabra no multiplica por veinte la evidencia. Una pregunta puede necesitar un correo que identifique al responsable y otro con una decisión posterior; hay que unir pruebas, no resumir el primer resultado.

Después se añaden registro, protocolo textual, bucle acotado, herramientas corporativas, búsqueda y terminal. La salida del modelo es entrada no confiable. Valida nombre y argumentos antes de pedir aprobación; registra rechazos y errores como observaciones. Separa ejecución real y texto mostrado. El modo de confirmación del curso controla acciones no solo de lectura; producción también necesita permisos por recurso y reglas de divulgación.

Compresión, memoria persistente, intervención del usuario y guardrails completan el sistema. La compresión pierde información: conserva restricciones, acciones pendientes y referencias. Aísla memoria por directorio y usuario. Mantén un registro de acciones independiente de resúmenes del modelo. El sandbox educativo no es una frontera de producción: revisa sandbox.jail(), especialmente en Windows, donde la documentación indica none.

Tarea 2: medir la capacidad correcta

Harbor organiza la evaluación, Docker proporciona el entorno y mini-SWE-agent es el sistema evaluado. El paquete define petición, archivos iniciales, dependencias, límites, verificador y solución oracle. Esta última demuestra que la tarea es resoluble y debe quedar fuera del alcance del agente. La recompensa se obtiene del estado final, no de la afirmación del modelo.

El recorrido pasa de HumanEval local a SWE-bench Verified y Terminal-Bench 2.1 antes de crear una tarea propia. La versión 26.1.0 pide cinco intentos independientes de mini-SWE-agent con Gemini 3.8 Flash mediante pinned_agent.py. Conserva las versiones: Python >=3.12,<3.14 y Harbor 0.18.0. Son requisitos de esta edición, no recomendaciones universales.

Define una capacidad concreta, por ejemplo reparar una configuración sin modificar servicios ajenos. Comprobar solo que existe un archivo es débil; exigir el mismo parche que el oracle rechaza alternativas válidas. Verifica postcondiciones, invariantes y efectos prohibidos. Evita respuestas en la imagen, filtración de pruebas, servicios remotos sin versión y dificultad causada por instalaciones rotas.

Los pesos son fundamentos 5%, ejemplos 10%, tarea propia 70% y revisión 15%. Los 70 puntos se reparten en reproducibilidad 10, capacidad 15, fidelidad 15, dificultad 20 e informe 10. El enunciado pide tres revisiones de tareas; la logística general habla de dos compañeros. Conservamos la discrepancia: quien esté matriculado debe consultar la instrucción específica y al profesorado.

Mecanismos que conectan las tareas

Supón que un empleado consulta una política de reembolso y pide actuar. La recuperación aporta evidencia, no autorización. El harness vincula respuesta, documento y versión, valida la llamada y comprueba permisos. No debe eludir un rechazo cambiando de herramienta. Un timeout deja incierto el efecto: consulta el estado antes de reintentar. Es una extensión productiva original, no una garantía del starter.

El modelo no accede directamente a credenciales ni shell. Cada propuesta cruza una política controlada por el host; incluso las lecturas respetan el tenant. Las escrituras llevan aprobación e identificador de operación. Las observaciones se guardan en un registro; el contexto es una selección y la memoria persistente es otro almacén acotado. Solo evidencia de ejecución permite afirmar que una acción terminó.

El presupuesto suma instrucciones, diálogo, observaciones y reserva de salida. En un ejemplo sintético de 16.000 tokens, 2.000 de sistema, 4.000 de diálogo y 2.000 reservados dejan 8.000 de evidencia. Cuatro caracteres por token es una aproximación del curso, no una garantía multilingüe. Usa el tokenizer real en producción.

Con la simplificación de pasos independientes y fiabilidad de 95%, diez pasos necesarios solo tienen 59,9% de éxito conjunto. Las correlaciones reales invalidan usarlo como predicción. El ejemplo motiva recorridos cortos, recuperación y terminación explícita; más herramientas no garantizan fiabilidad.

Diseño de referencia: el modelo propone; el host autoriza y ejecuta. Una denegación se registra sin ejecutar.
Diseño de referencia: el modelo propone; el host autoriza y ejecuta. Una denegación se registra sin ejecutar.

Entorno, versiones y presupuesto realista

HW1 requiere Python 3.11+ y uv; Windows necesita Git for Windows para Bash o WSL. HW2 fija Python 3.12–3.13, uv y un daemon Docker accesible. El ejemplo SWE-bench en Apple Silicon pide linux/amd64 y puede usar emulación. Separa los entornos y respeta los archivos de bloqueo.

El README de HW1 indica openai/gpt-6-luna para evaluar y openai/gpt-6-sol como juez; HW2 utiliza Gemini 3.8 Flash vía Gemini u OpenRouter. Son identificadores del material revisado, no garantía de acceso o precio. Los externos aportan credenciales y saldo. No creamos claves ni hicimos llamadas de pago; Token Lab no recoge claves ni transmite entradas de estos ejercicios.

El enunciado informa $0,05 por una pasada de pruebas live del ejemplo de referencia y $0,18 por la evaluación final: $0,23 en esa ejecución, no un presupuesto garantizado. Cambios y reintentos generan llamadas nuevas. La caché depende de modelo, muestreo y mensajes exactos; una respuesta cacheada no es un intento independiente.

Configura límite del proveedor y CS329Z_BUDGET_USD. El registro local frena llamadas al alcanzar el umbral, pero no es un límite transaccional entre procesos concurrentes. Borrar .lm_cache elimina respuestas y contabilidad. Guarda versiones, tokens y costes. Ejecutar terminal y Docker localmente no impide que las pruebas live envíen prompts a APIs externas.

Entregables, proyecto y reutilización

La nota general se divide en proyecto 40%, tareas 15%, pruebas orales 15%, vídeo de artículo 10% y revisión 20%. El proyecto incluye propuesta 5%, informe intermedio 5%, demo intermedia 5%, entrega final 15% y demo final 10%. Son normas de matrícula, no créditos para quien siga esta guía. No encontramos una rúbrica final completa pública; el proyecto sugerido es nuestro.

Propón un asistente SRE: lee un incidente sintético, recupera un runbook, diagnostica con evidencia y propone una acción acotada con aprobación. Empieza en solo lectura; añade persistencia y recuperación; compara con el baseline en incidentes congelados, incluidas pruebas sin evidencia y acciones rechazadas. Entrega código, lock, configuración, arquitectura, trazas, costes y operaciones no soportadas.

El vídeo oficial dura 10–15 minutos y combina explicación, crítica y aportación práctica. Su rúbrica es 20+20+20+10; requiere enlace no listado y materiales. Las diapositivas, guion, análisis y narración deben ser propios: IA puede ayudar a comprender y comentar, pero no crear las diapositivas. Tampoco puede escribir informes del proyecto. La ayuda con código exige comprensión y validación, comprobadas oralmente.

Ambas tareas tienen licencia MIT: conserva avisos de copyright y licencia al reutilizar. No extiende automáticamente derechos a vídeos, diapositivas o lecturas ajenas; aquí los enlazamos. Los starters públicos no autorizan publicar soluciones de compañeros. Respeta entrega privada e integridad académica.

Programa y secuencia de aprendizaje

Los recursos aparecen en orden. Sin enlace de vídeo significa que el programa consultado no enlazaba uno público, no que no exista. Los títulos bibliográficos conservan su idioma original.

  1. Sistemas de agentes Materiales (5)
  2. LLM para desarrolladores Materiales (5)
  3. RAG Materiales (4)
  4. Uso de herramientas Materiales (4)
  5. Marcos y orquestación Materiales (5)
  6. Patrones de diseño Materiales (6)
  7. Memoria Materiales (4)
  8. Sistemas multiagente Materiales (4)
  9. Optimización Materiales (4)
  10. Terminal-Bench Materiales (3)
  11. Datos para agentes Materiales (3)
  12. Selección y calidad Materiales (4)
  13. Evaluación y benchmarks Materiales (4)
  14. Conversación con Andrew Ng Materiales (0)
  15. Jueces LLM e infraestructura Materiales (4)
  16. SWE-bench Materiales (1)
  17. Seguridad y controles Materiales (6)
  18. Sin clase Materiales (0)
  19. Sin clase Materiales (0)
  20. Agentes de programación Materiales (4)
  21. Agentes proactivos Materiales (3)
  22. Demo final Materiales (0)

Fechas y entregas

Fecha (2026, PT)Tema
10-09 23:59Propuesta
10-30Trabajo 1
11-06Informe y demo intermedia
11-13 23:59Vídeo del artículo
11-23 23:59Tarea del trabajo 2
11-30Reseñas de artículos (2)
12-02Reseñas de tareas (3)
12-09 15:30–18:30Demo final
12-11 23:59Informe final

Práctica, validación y plan de estudio

Cuatro hitos: semana 1, contrato de mensajes y pruebas deterministas/BM25; semana 2, harness limitado y decisiones de permisos, resumen y memoria; semana 3, tarea con oracle y comprobaciones adversarias; semana 4, cinco intentos controlados, análisis y reporte. Es un plan propio, no un calendario oficial.

Trabajo 1: puntuación

MóduloDeterministaAPI liveTotal
priority123
daily_digest134
bm25808
email_qa268
tool_registry303
tool_protocol224
agent_loop808
cardinal202
search_docs235
terminal246
compaction538
memory358
interactive707
guardrails224
sim_eval01010

Autoevaluación: 48 + 40 = 88; notas: 10; memoria: 20. Total 118, no 88.

Ejecute primero pruebas deterministas. live y simulation envían datos a proveedores externos y pueden cobrar: son comandos opcionales del curso, no experimentos locales del navegador. Guarde claves en .env fuera de Git. No ejecutamos esas pruebas de pago ni resolvimos los trabajos.

git clone https://github.com/cs329z/assignment1-harness.git
cd assignment1-harness
uv sync
uv run python data/download.py
uv run pytest
CS329Z_EVAL_SLICE=5 uv run pytest -m live -s
uv run python -m cs329z_hw1.simulation --slice 3
uv run python -m cs329z_hw1.chat --mode confirm
git clone https://github.com/cs329z/assignment2-evals.git
cd assignment2-evals
uv sync
uv run python check_submission.py

Trabajo 2: inicio 5%, ejemplos 10%, tarea 70%, revisión 15%. El 70% se reparte en reproducibilidad 10, capacidad 15, fidelidad 15, dificultad 20 e informe 10. Siga el comando del agente fijado en la guía oficial.

uv run harbor run --path tasks/YOUR_TASK_ID --agent-import-path pinned_agent:MiniSweAgent --model openrouter/google/gemini-3.8-flash --env-file .env --n-attempts 5 --n-concurrent 1 --job-name YOUR_TASK_ID-gemini --jobs-dir tasks/YOUR_TASK_ID/artifacts --yes

Ejercicio local original: cinco intentos no dan certeza

El programa calcula el intervalo Wilson del 95% para 3 éxitos de 5 ensayos Bernoulli independientes: 0.2307–0.8824. Comprueba cero ensayos y extremos. Mide incertidumbre muestral, no validez de la tarea; repetir caché no añade evidencia independiente.

Descargar ejercicio local
"""Token Lab original supplement. Python 3.11+, stdlib, no network or randomness."""
from math import sqrt

def wilson(successes, trials, z=1.959963984540054):
    if not isinstance(trials, int) or not isinstance(successes, int) or trials <= 0 or not 0 <= successes <= trials:
        raise ValueError("Require 0 <= successes <= positive integer trials")
    p = successes / trials
    denominator = 1 + z*z/trials
    center = (p + z*z/(2*trials)) / denominator
    half = z * sqrt(p*(1-p)/trials + z*z/(4*trials*trials)) / denominator
    return max(0.0, center-half), min(1.0, center+half)

if __name__ == "__main__":
    lo, hi = wilson(3, 5)
    assert abs(lo - 0.2307242813) < 1e-9
    assert abs(hi - 0.8823792258) < 1e-9
    assert wilson(0, 5)[0] < 1e-12
    assert abs(wilson(5, 5)[1] - 1) < 1e-12
    for args in [(0, 0), (6, 5), (-1, 5)]:
        try:
            wilson(*args)
        except ValueError:
            pass
        else:
            raise AssertionError("invalid input accepted")
    print(f"3/5: 95% Wilson interval [{lo:.4f}, {hi:.4f}]")
    print("PASS: boundaries and invalid inputs")
python3 uncertainty.py
# 3/5: 95% Wilson interval [0.2307, 0.8824]
# PASS: boundaries and invalid inputs

Entrevista original, no preguntas reales de empresas

1. ¿Por qué sintaxis válida no implica autorización?

Pista: separar análisis y política. Valide esquema, identidad, alcance y aprobación en el host; del modelo no concede poder. Pruebe una acción válida pero prohibida.

2. ¿Cinco éxitos en caché prueban fiabilidad?

Pista: cuente muestras independientes. La caché comprueba el circuito, no variación del modelo. Use ejecuciones independientes controladas y reporte configuración, conteos e incertidumbre.

3. ¿Cómo aprobar sin cumplir el objetivo?

Pista: cobertura. Un verificador débil acepta texto fijo o archivos alterados. Pruebe atajos, aísle verificaciones, compruebe estado final y oracle. Dificultad sin validez no ayuda.

Puntuación: 1 nombra; 2 define; 3 explica el mecanismo; 4 trata fallos y alternativas; 5 diseña una prueba justa y limita conclusiones.

Materiales oficiales, vídeos y lecturas

Los recursos aparecen en orden. Sin enlace de vídeo significa que el programa consultado no enlazaba uno público, no que no exista. Los títulos bibliográficos conservan su idioma original.

1. Sistemas de agentes

Wed Sep 23 · 2026

2. LLM para desarrolladores

Mon Sep 28 · 2026

3. RAG

Wed Sep 30 · 2026

4. Uso de herramientas

Mon Oct 5 · 2026

5. Marcos y orquestación

Wed Oct 7 · 2026

6. Patrones de diseño

Mon Oct 12 · 2026

7. Memoria

Wed Oct 14 · 2026

8. Sistemas multiagente

Mon Oct 19 · 2026

9. Optimización

Wed Oct 21 · 2026

10. Terminal-Bench

Mon Oct 26 · 2026

11. Datos para agentes

Wed Oct 28 · 2026

12. Selección y calidad

Mon Nov 2 · 2026

13. Evaluación y benchmarks

Wed Nov 4 · 2026

14. Conversación con Andrew Ng

Mon Nov 9 · 2026

    15. Jueces LLM e infraestructura

    Wed Nov 11 · 2026

    16. SWE-bench

    Mon Nov 16 · 2026

    17. Seguridad y controles

    Wed Nov 18 · 2026

    18. Sin clase

    Mon Nov 23 · 2026

      19. Sin clase

      Wed Nov 25 · 2026

        20. Agentes de programación

        Mon Nov 30 · 2026

        21. Agentes proactivos

        Wed Dec 2 · 2026

        22. Demo final

        Wed Dec 9 · 2026

          Guía de estudio y esquema de la lecciónOBJETIVOS DE APRENDIZAJE

          Comprender → implementar → investigar

          Objetivo: explicar el mecanismo, reproducir un ejemplo y comprobar un fallo. Leer no implica dominar.

          Predecir, comprobar y conservar evidencia

          Antes de revelar la respuesta, predice un resultado. Después registra diferencias y una prueba de transferencia. Se guarda localmente y se comparte entre idiomas.

          Abrir cuaderno / exportar / borrar →

          El alcance de revisión matemática se registra por lección. No certifica reproducción empírica del artículo; anota posibles errores. Alcance de revisión