深入理解 AI Agent:从控制循环到推理基础设施
从一次发布后的延迟告警出发,逐步构建能收集证据、约束工具、处理失败并解释结论的 SRE Agent,再推导它的推理成本与资源需求。
来源与版本详情

本文目录
1. 14:02 收到告警:先定义 Agent 要交付什么
以下是贯穿全文的原创合成事故,不是客户数据或真实实测。14:00,tenant A 的 checkout 将修订 r17 发布到 10% 的实例;14:02,最近五分钟 p95 从基线 120 ms 升到 420 ms,总请求量基本稳定。值班人员问:“是不是这次发布导致的,应该回滚吗?”这句话包含三个不同任务:确认异常、定位与发布的关系、决定是否采取有副作用的操作。Agent 先承诺交付一份证据报告,而不是承诺自动修好服务。后面的每一步都围绕这个交付物展开。
AI Agent 是在目标和约束下,依据当前观察选择下一步行动,并利用行动结果继续决策的系统。语言模型生成下一步建议;Harness 是 Agent 内部负责上下文构造、工具适配、约束、验证和纠正的运行层;Environment 则是被观察或改变的文件、服务、网页和真实业务系统。三者即使部署在同一个进程,也具有不同职责。一次问答不必使用自主循环,固定报表通常用确定性工作流更容易保证正确性。
先修要求也要落到具体能力:理解 HTTP 超时不证明服务端没有执行;理解 JSON schema 检查的是结构而非业务授权;能区分持久化记录、进程内存与外部系统状态;能计算平均值、分位数和基本资源预算。尚不熟悉 Transformer 的读者可以先将模型当作概率性的决策组件,阅读缓存章节时再补充 attention 的 K/V 含义。
沿事故推进的证据链(合成场景)
| 场景中的问题 | 所需证据 | 当前能说什么 |
|---|---|---|
| 是否真的变慢? | 同口径、同时间窗的分位数与请求量 | 确认异常,不直接归因 |
| 是否与 r17 有关? | 按 revision 分组的指标与部署记录 | 形成发布相关假设 |
| 是否是连接池? | 当前配置与等待连接的观测 | 证据支持候选机制,保留替代解释 |
| 能否自动回滚? | 本次能力范围与变更审批 | 只读 Agent 只能建议、交接 |
2. 第一轮判断:把模糊问题变成可执行调查
控制器建立 incident-017,固定
入口首先用真实用户身份建立请求范围,例如
工具提案必须经过独立执行门:校验工具名称、参数类型、资源范围、调用预算、截止时间和审批状态,再由执行器调用目标系统。返回值以结构化 observation 记录:成功或失败、工具调用 ID、数据时间、证据来源、截断情况。控制器把这条观察加入下一轮上下文。工具超时应产生“没有取得证据”的状态,不能变成“指标正常”。达到预算或没有可行下一步时应停止并说明证据缺口。
固定工作流适合已知步骤;Agent 适合下一步依赖新观察的任务。生产系统可以混合两者:身份检查、审批和结果归档保持确定性,只有“先查发布还是先查下游”交给模型。选择框架之前先定义状态机、工具合同、停止条件和恢复语义,否则框架只会把隐含错误包装得更整齐。
怎样选择编排模式
| 模式 | 适用条件 | 代价与边界 |
|---|---|---|
| 固定工作流 | 步骤与分支事先明确 | 行为可预测;异常情况需要明确回退 |
| 单 Agent | 新证据决定下一步 | 限制轮数、工具范围和停止条件 |
| 并行多 Agent | 证据收集可独立拆分 | 协调共享状态;重复证据不等于独立证据 |
3. 执行之前:为什么工具调用必须过权限门
模型提出 read_metrics(
工具描述解决“模型怎样提出调用”,执行策略解决“这个用户是否可以调用”。MCP 等协议可以统一发现与调用接口,但不会自动替系统完成租户隔离、凭据最小化、网络出站限制或审批绑定。模型看到的工具数量也应受控:先检索能力目录,再加载少量相关 schema,能减少上下文成本;动态加载后仍然要经过同一个执行门。
SRE 例子把 read_metrics、read_changes 与 restart_service 分成不同能力。只读工具仍可能泄漏敏感日志,因此要限制服务范围、字段、时间窗、返回大小和出站目的地。写操作的审批必须绑定具体服务、动作、参数摘要、有效期和操作 ID。审批后参数发生变化就应失效,而不是复用一句“用户同意了”。
Prompt injection 是把不可信数据伪装成高优先级指令。恶意 runbook 可能要求导出凭据;仅告诉模型“不要听”不能构成安全边界。执行器应拒绝未列入能力清单的动作,沙箱限制文件与网络,秘密不进入模型上下文。检测器可以提供风险信号,但强制执行和审计必须由独立代码完成。对于生产写入,应再设计人工接管与明确的恢复流程。
4. 第一批证据:怎样从相关文档走向可靠判断
合成观察 E1 显示,同一窗口 r17 实例 p95 为 420 ms,r16 为 125 ms;E2 显示 r17 更改了数据库连接池配置。Agent 检索到旧 runbook,声称连接池上限为 50,但当前配置读取 E3 显示上限为 10。这里先建立三层关系:runbook 提供检查思路,当前配置提供事实,修订间比较提供关联。它们仍未证明连接池就是根因,因此下一项调查应读取等待连接的时间,而不是把文档建议直接写成结论。
至少区分三类存储。任务事件保存本次发生过什么;用户或组织记忆保存跨会话偏好与约定;知识库保存可引用的文档。三者需要不同的有效期、访问范围和更新流程。知识库中的“默认超时为 30 秒”可能已经过时,运行时配置才是当前服务行为的直接证据。记忆中的“用户通常同意重启”绝不能替代本次审批。
RAG 的摄取流程要保留文档版本、来源、更新时间和访问控制。查询时先按调用者权限筛选,再检索和重排;给模型的片段保留证据标识,回答中的每项可核实主张应对应支持它的片段。召回到相关文档不等于证据充分:runbook 描述一般原因,当前指标才说明这次是否符合该原因。无法建立关联时应输出假设,而不是结论。
对记忆更新,应记录由谁提供、何时观察、适用于谁,以及是否被更新事实取代。结构化事实便于局部修改,叙事段落保留上下文但容易冗余。具体选择取决于查询类型,不存在“全部向量化就解决记忆”的通用方案。删除请求还要传播到缓存和派生索引,不能只删除原始文本。
5. 调查继续:如何让模型记住真正重要的信息
到第三轮,原始指标已累积为大量记录。上下文不应重复塞入整批日志,而应保留:E1 的时间窗和分组结果、E2 的变更、E3 的当前配置,以及“连接池等待尚未取得”的缺口。状态摘要将“已观察”与“待验证”分栏,附上原始证据 ID。这样模型下一轮知道应补什么,读者也能看出摘要为什么是推理输入,而不是新的证据来源。接下来故意让这条关键读取失败,观察系统能否诚实继续。
模型每轮看到的是有限上下文,而不是整个运行系统。稳定前缀可以包括角色、政策与核心工具 schema;动态尾部包括请求、工具观察、已否定假设和剩余预算。把所有日志直接拼进去既增加计算,也使重要信息被无关细节淹没。应先用确定性过滤取得目标时间窗和服务,再返回聚合统计、代表性样本及可追溯的原始记录地址。
压缩应保留决策所需信息:当前目标、约束、证据 ID、时间范围、失败操作、已经取得的审批及其有效范围。摘要是有损视图,不是真相来源。原始事件仍存放在持久记录中,必要时重新读取;高风险决策重新检查当前状态,而不是相信旧摘要。检索结果可以说明“runbook 建议什么”,不能证明“用户已经授权执行”。
稳定前缀有利于推理缓存,但不能为了命中率保留过时政策。需要立即更新的权限、模型版本或工具合同应优先保证正确性。缓存能否复用还取决于 token、位置、模型/适配器和服务端隔离策略,不是两个自然语言提示看起来相似就能复用。上下文压缩也可能改变早期 token,从而使后续缓存失效。
6. 工具超时:怎样继续调查而不制造假证据
读取连接池等待的操作 op-w1 超时。Agent 不能把缺失值当作零,也不能断言“连接池正常”。只读调用在总截止时间和预算仍允许时,可以以新 attempt 重试;逻辑操作与尝试分别记录。合成后续观察 E4 显示 r17 的连接等待增加,r16 未见同样变化,因此连接池配置成为更强的候选原因。若重试也失败,报告就停在“发布相关性明确、具体机制证据不足”。本文本地代码演示的是停止为 incomplete 的分支,不冒充实现了这套真实查询。
至少分别持久化 task_id、逻辑 operation_id 和 attempt_id。模型返回同一提案、队列重复投递、执行器重试是不同事件。保存工具结果后,恢复时应优先复用结果;但保存结果前发生崩溃时,必须查询目标系统的操作状态。对有副作用的动作,不能因为本地没有成功记录就再次执行。
参考方案使用持久事件记录恢复控制器,用外部系统支持的幂等键避免重复业务操作,并在无法确定是否执行时进入 unknown 状态,交给状态查询或人工处理。数据库事务不能让外部 API 和本地提交自动成为一个原子操作。超时、取消、租约失效与最终结果晚到都需要明确定义;取消本地等待不保证远端动作已停止。
文件快照、进程快照、对话轨迹和 KV cache 也不是同一种检查点。恢复代码工作目录并不恢复数据库副作用;恢复对话也不保证模型会生成同样的下一步。故障分析要区分业务答案错误、工具环境故障和授权拒绝,否则评估数据会把基础设施问题误当作模型能力问题。
7. 六轮之后:把调查轨迹换算成推理成本
先停下事故叙事,核算调查为什么会越来越慢。把本例简化为六轮模型调用,每轮输入 4000、输出 300 token,便能看到最终只有几百字的报告背后还有重复的输入计算。保留 E1–E4 与稳定工具定义有助于减少无效输入和复用前缀;但“为了缓存而不更新 E3”会让判断建立在旧配置上。先保证证据正确,再讨论缓存与成本,下面的数值就是为这个取舍服务的。
每轮模型调用通常经历排队、prefill 和逐 token decode。Prefill 处理输入并建立状态;decode 在已有状态上生成下一 token。Agent 会反复调用模型,同时追加工具输出,因此总体成本不能只看最终回答长度。一次工具等待期间,GPU 可以处理别的请求,但环境内存和保留的 KV 仍可能占资源。
对普通全注意力 Transformer,KV 容量可按文中公式估算:层数 L、并发序列 B、序列长度 T、KV 头数 H_kv、头维度 d_h 与每元素字节数 b 相乘,再乘 2 表示 K 和 V。假设
假设 6 轮、每轮输入 4000 token、输出 300 token,总输入为 24000、总输出为 1800。若后五轮各有 3000 token 的前缀可精确复用,则最多减少 15000 个已处理前缀 token 的重算;逻辑请求长度并未因此减少,账单优惠取决于服务商规则。本例只说明核算方式,不代表固定倍数的提速,更不能推出总任务延迟按相同比例下降。
I_r、O_r 分别为第 r 轮输入与输出 token 数,R 为调用轮数。I、O 是逻辑总量,尚未应用任何服务商的缓存计费折扣。
8. 多个告警同时到来:找出真正的资源瓶颈
现在把一次调查扩展到值班高峰:每秒接纳两次类似告警,每个环境等待模型和工具共驻留 30 秒。CPU 大部分时间可能在等待,但环境状态不会自动消失。这解释了为什么增加 CPU 核数可能不解决排队。容量规划必须同时看活跃计算、驻留内存、模型并发与外部查询配额,不能把单次模型的吞吐当成整个 Agent 平台吞吐。
Agent 系统有两条资源路径:模型服务占用加速器和模型状态,工具环境占用 CPU、内存、文件系统与外部服务额度。两者通过控制器耦合。工具执行前可能需要等待模型;模型下一轮又依赖工具结果。正确目标通常是满足成功率和截止时间下的端到端完成率,而不是孤立地最大化 GPU 利用率。
原创合成例子:每秒 2 个任务,每个环境驻留 30 秒,每个环境使用 0.5 GiB。稳定状态下平均需要 60 个环境和 30 GiB 内存。如果每任务仅消耗 3 CPU 秒,则平均 CPU 需求为 6 个核;这不意味着 8 核、16 GiB 的机器足够。仅按环境内存估算,它最多容纳 32 个环境,对应约 1.07 个任务/秒,尚未扣除系统开销。到达率 2 大于该上限时,不能再假设队列稳定。
可选优化包括按需创建环境、等待时释放可重建资源、保留热环境以及限制同时在途任务。热环境降低启动时间却提高驻留成本;换出 KV 释放显存却增加传输与恢复;批处理提高吞吐却可能伤害交互延迟。多任务存在依赖时还要关注关键路径和整批尾部完成时间。优先长链可能帮助批作业,却必须配合老化或配额,避免短任务与低优先级租户长期饥饿。
λ 为每秒实际接纳的环境到达率,T 为环境驻留秒数,N 为平均驻留环境数。M(t) 的单位为 GiB,其时间积分为 GiB·秒。Little 定律用于长期稳定系统,不能用来证明过载队列稳定。
9. 交付与复盘:关闭事件,再决定怎样改进
回到交付物:报告列出 E1–E4、候选原因“r17 的连接池变化”、尚未排除的流量与下游差异,并建议由值班人员按既有变更流程评估回滚。只读 Agent 在此结束;假设人工批准并执行回滚,随后同一指标口径的 p95 回到 130 ms,这强化了修订相关性,但仍不是排除所有混杂因素的因果实验。最后保存证据、人工操作记录与恢复观测,把事故关闭和模型能力改进分成两件事。只有看清单 Agent 在哪里失败,才有理由讨论多 Agent 或持续学习。
多 Agent 有价值的前提是任务可分解、信息可独立获取,而且合并成本可控。例如指标分析与发布记录分析可以并行,最终由协调器核对时间与因果假设。简单任务使用多个角色往往只是增加调用、重复证据与冲突。两位 Agent 的一致结论若来自同一错误文档,并不是两份独立证据。
持续改进要区分更新知识、调整提示/工具、修改程序与训练模型。一次运行内的上下文适应不等于参数学习;把成功轨迹写入记忆也不证明能力普遍提升。候选改动应记录版本、预算、任务集合与回滚点;训练数据不能包含保留测试题答案。用同一个模型生成方案再自行评分会形成偏差闭环,需要独立结果检查和人工抽查。
工程顺序应从固定工作流基线开始,再增加有界决策,最后才考虑多 Agent 或后训练。主要未解决问题包括长任务信用分配、不可逆动作的安全恢复、跨环境泛化、长期记忆中的错误积累,以及成本受限时如何衡量有效自主性。声称“自我进化”时,应说清楚改变了哪一层、在哪些保留任务上改善,以及是否牺牲了安全性或资源预算。
10. 实践与验证
先实现下面的确定性 harness,再连接模型。它用合成工具结果展示范围检查、重放、调用预算与证据不完整处理。运行环境为 Python 3.11+,仅标准库;没有随机过程,因此不需要随机种子。下载文件后在本地执行命令。
agent-book-harness.pypython3 agent-book-harness.pyscope=passed replay=passed budget=passed timeout=incomplete
kv_gib=1.0 environments=60 memory_gib=30.0Python · agent-book-harness.py
"""Python 3.11+, standard library only; deterministic harness, NOT an LLM.
No network, secrets, shell, production writes or random sampling.
Run: python3 agent-book-harness.py
"""
from dataclasses import dataclass, field
@dataclass
class Harness:
tenant: str = 'A'
service: str = 'checkout'
remaining: int = 4
events: list = field(default_factory=list)
results: dict = field(default_factory=dict)
def call(self, operation_id, tool, tenant, service, *, timeout=False):
# Authorization precedes result lookup: cached data is not public.
if tenant != self.tenant or service != self.service:
raise PermissionError('scope')
if tool not in {'metrics', 'changes'}:
raise PermissionError('capability')
identity = (tool, tenant, service)
if operation_id in self.results:
previous_identity, result = self.results[operation_id]
if previous_identity != identity:
raise ValueError('operation ID reused for different arguments')
return result
if self.remaining == 0:
raise RuntimeError('budget')
self.remaining -= 1
if timeout:
result = {'status': 'timeout', 'evidence': None}
else:
result = {'status': 'ok', 'evidence':
{'id': 'metric-1', 'p95_ms': 420} if tool == 'metrics'
else {'id': 'change-1', 'revision': 'r17'}}
self.events.append((operation_id, identity, result))
self.results[operation_id] = (identity, result)
return result
def scripted_investigation(h, timeout=False):
# A model adapter would propose these actions; the gate must stay outside it.
metrics = h.call('op-m', 'metrics', 'A', 'checkout', timeout=timeout)
changes = h.call('op-c', 'changes', 'A', 'checkout')
if any(x['status'] != 'ok' for x in (metrics, changes)):
return {'status': 'incomplete', 'evidence': []}
return {'status': 'observed', 'evidence': [metrics['evidence'], changes['evidence']],
'conclusion': 'Revision and latency observed; causation not established.'}
def raises(error, action):
try:
action()
except error:
return
raise AssertionError(f'expected {error.__name__}')
def main():
h = Harness()
answer = scripted_investigation(h)
assert answer['status'] == 'observed' and len(h.events) == 2
# Replay returns recorded result without consuming another budget unit.
h.call('op-m', 'metrics', 'A', 'checkout')
assert h.remaining == 2 and len(h.events) == 2
raises(PermissionError, lambda: h.call('op-m', 'metrics', 'B', 'checkout'))
raises(PermissionError, lambda: h.call('op-write', 'restart', 'A', 'checkout'))
raises(ValueError, lambda: h.call('op-m', 'changes', 'A', 'checkout'))
raises(RuntimeError, lambda: Harness(remaining=0).call('x', 'metrics', 'A', 'checkout'))
assert scripted_investigation(Harness(), timeout=True)['status'] == 'incomplete'
kv = 2 * 32 * 1 * 8192 * 8 * 128 * 2
assert kv == 1024**3
environments = 2 * 30
memory_gib = environments * 0.5
assert environments == 60 and memory_gib == 30
assert 6 * 4000 - 5 * 3000 == 9000
print('scope=passed replay=passed budget=passed timeout=incomplete')
print(f'kv_gib={kv / 1024**3:.1f} environments={environments} memory_gib={memory_gib:.1f}')
print('Synthetic control checks only; no model-quality or sandbox benchmark.')
if __name__ == '__main__':
main()
这段代码实现控制路径,不是已部署的 SRE Agent,也不模拟 LLM 能力。内存事件表不能跨崩溃恢复;timeout 是注入结果,不是真正终止进程的期限机制;没有真实沙箱或写操作。生产实现还需持久存储、认证身份、真实超时、并发控制、目标系统幂等和独立配置的模型适配器。
公平对照:固定模型、任务、证据、工具权限与总 token/时间预算,比较固定工作流与单个有界 Agent;任务可拆分时再加入多 Agent。记录任务成功、无依据主张、被拒动作、p50/p95 延迟与每个成功任务的总成本,失败尝试也计入成本。在保留任务上重复并报告样本数。本地断言通过只能证明控制行为,不能证明 Agent 智能水平。
原创模拟面试题,非公司真实面试题
为什么超时可能导致重复重启?
提示
区分远端执行与本地确认。
答案与分析
动作可能已经完成,只是响应丢失。应查询操作状态并使用目标系统支持的幂等键;unknown 不能解释为尚未执行。
压缩上下文为什么可能让下一次调用更慢?
提示
找到第一个被修改的 token。
答案与分析
压缩可能破坏缓存前缀,触发重新 prefill。应把输入节省、缓存损失和压缩成本一起测量,并确认关键证据仍保留。
例子为什么需要 30 GiB,却平均只用六个 CPU 核?
提示
区分状态驻留和活跃 CPU 时间。
答案与分析
Little 定律得到 2×30=60 个环境,内存为 60×0.5=30 GiB;CPU 为每秒 2×3=6 核秒。等待中的状态仍然驻留。
两个 Agent 一致是否证明正确?
提示
检查它们的证据是否独立。
答案与分析
共享模型或来源会产生相关错误。应核对真实结果和独立证据,并与预算相同的单 Agent 基线比较。
1–5 分评分:1 分能列概念;2 分能解释正常流程;3 分能复算单位与算例;4 分能处理超时、越权和重放失败;5 分能设计公平对照、恢复边界与可衡量的取舍。
预测、检验与证据记录
展开答案前先预测一个结果;练习后记录差异和迁移测试。记录仅存本地,在不同语言版本间共用。
打开记录/导出/清除 →数学复核范围逐篇记录,不代表完成论文实证复现;可在笔记中记录疑似错误。 复核范围
11. 来源注明、版本与延伸阅读
本文由 Token Lab 独立整理与解读,主要参考李博杰《深入理解 AI Infra:量化分析与系统设计》及其姊妹篇《深入理解 AI Agent:设计原理与工程实践》。用户提供的链接对应 AI Infra,而非 AI Agent 书。两个仓库均声明采用 Apache-2.0 协议。以下列出固定版本;本文的 SRE 案例、架构图、合成数值与 Python 控制示例为本站原创,不是全书翻译、官方版本或作者背书。
- AI Infra 原书仓库https://github.com/bojieli/ai-infra-book
- AI Agent 姊妹篇仓库https://github.com/bojieli/ai-agent-book
- Infra 第 3、8、11 章:负载、推理优化与调度https://github.com/bojieli/ai-infra-book/tree/3bdcb4fcab73010eeaccf31cc10a8242a895d82e/manuscripts
- Agent 第 1–4、7、9、10 章:机制与生命周期https://github.com/bojieli/ai-agent-book/tree/dbc046eb896ac4e39aa19c7774c8bf49583b89a6/book
- AI Infra 在线阅读https://bojieli.github.io/ai-infra-book/
- AI Agent 在线阅读https://bojieli.github.io/ai-agent-book/
AI Infra §3https://github.com/bojieli/ai-infra-book/blob/3bdcb4fcab73010eeaccf31cc10a8242a895d82e/manuscripts/03-%E6%8E%A8%E7%90%86%E4%B8%8E%E8%AE%AD%E7%BB%83%E8%B4%9F%E8%BD%BD.md · AI Infra §8https://github.com/bojieli/ai-infra-book/blob/3bdcb4fcab73010eeaccf31cc10a8242a895d82e/manuscripts/08-%E6%8E%A8%E7%90%86%E4%BC%98%E5%8C%96.md · AI Infra §11https://github.com/bojieli/ai-infra-book/blob/3bdcb4fcab73010eeaccf31cc10a8242a895d82e/manuscripts/11-%E8%B5%84%E6%BA%90%E8%B0%83%E5%BA%A6%E4%B8%8E%E8%BF%90%E8%A1%8C%E7%8E%AF%E5%A2%83.md · AI Agent §1https://github.com/bojieli/ai-agent-book/blob/dbc046eb896ac4e39aa19c7774c8bf49583b89a6/book/chapter1.md · AI Agent §2https://github.com/bojieli/ai-agent-book/blob/dbc046eb896ac4e39aa19c7774c8bf49583b89a6/book/chapter2.md · AI Agent §3https://github.com/bojieli/ai-agent-book/blob/dbc046eb896ac4e39aa19c7774c8bf49583b89a6/book/chapter3.md · AI Agent §4https://github.com/bojieli/ai-agent-book/blob/dbc046eb896ac4e39aa19c7774c8bf49583b89a6/book/chapter4.md · AI Agent §7https://github.com/bojieli/ai-agent-book/blob/dbc046eb896ac4e39aa19c7774c8bf49583b89a6/book/chapter7.md · AI Agent §9https://github.com/bojieli/ai-agent-book/blob/dbc046eb896ac4e39aa19c7774c8bf49583b89a6/book/chapter9.md · AI Agent §10https://github.com/bojieli/ai-agent-book/blob/dbc046eb896ac4e39aa19c7774c8bf49583b89a6/book/chapter10.md
AI Infra · Apache-2.0https://github.com/bojieli/ai-infra-book/blob/3bdcb4fcab73010eeaccf31cc10a8242a895d82e/LICENSE · AI Agent · Apache-2.0https://github.com/bojieli/ai-agent-book/blob/dbc046eb896ac4e39aa19c7774c8bf49583b89a6/LICENSE