Token Lab搜索

Agent 批处理完成时间:协同调度推理、缓存与工具

系统解释如何让一批多轮 Agent 更早完成:分离任务准入与工具容量,保留可复用状态,并理解推进长调用链何时有效、何时会产生代价。

来源与版本详情
本文目录

单次调用很快,整批任务仍可能很慢

设想每晚运行 500 个编程 Agent:每个 Agent 请求模型决定下一步,等待沙盒命令,读取结果,再次调用模型。发布门禁必须等所有轨迹终止才能开启。到最后,大部分 GPU 可能已空闲,只有一个 Agent 还在慢命令与推理之间交替。加速 token 解码并不能消除工具依赖,也不能消除另一项服务的排队。

轨迹是一个任务从开始到结束的模型与环境阶段序列。批处理完成时间(makespan)是从整批开始到最后一个任务终止的实际时间,也包括以失败告终的任务。它不同于平均任务完成时间、首 token 延迟 TTFT、逐 token 延迟 TPOT,以及最后 5% 任务的完成区间。本文面向有限的离线批次,例如评测、合成数据和 rollout 收集。交互助手还需要明确的用户延迟与公平性约束,不能悄悄替换成批处理目标。

学习目标是找出真正瓶颈,设计独立容量限制,计算缓存驻留,正确阅读消融,并实现本地调度实验。先修知识包括队列、并发和因果依赖:排队不等于执行;等待工具的 Agent 仍拥有上下文;下一轮推理必须等所需观测产生后才能开始。理解这些关系比记住调度器名称更重要。

关键路径与资源下界

设 是任务 k 相对批次起点的终止时间,makespan 就是所有 的最大值,平均完成时间则是它们的算术平均。阶段耗时固定时,每条串行轨迹都给出一个完成时间下界;拥有 个同质工具槽位的资源池还给出另一个下界:全部工具服务时间除以 。应取这些下界的最大值,而不是相加,因为不同轨迹可以重叠。有限推理容量与阶段释放时间会进一步拉长实际排程。 其中 N 是任务总数; 和 分别表示任务 k 第 n 轮的推理与环境服务时长,单位均为秒。 是可同时执行的环境操作数量。

三个相同任务均执行:推理 1 秒 → 工具 2 秒 → 推理 1 秒。只允许一个任务进入时,需要 12 秒。让三个任务同时进入,但仍只有一个工具槽:首轮推理在 0–1 秒重叠完成;工具依次占用 1–3、3–5、5–7 秒;末轮推理分别在第 4、6、8 秒结束。没有任何操作变快,makespan 却降到 8 秒。平均完成时间为 6 秒,串行准入时则为 8 秒。这是推理可无限并行的原创确定性算例,不是 GPU 实测。

工具资源下界为 6 秒,最长单条路径为 4 秒,所以通用下界为 6 秒。实际需要 8 秒,差额来自初始释放延迟和最后一次推理。这也说明,仅凭利用率仪表盘不能证明调度最优。真实推理服务器还有批处理效应:增加并发可能使单次调用更慢,却缩短整批完成时间。

三条轨迹,C_S = 3、C_E = 1。空白是排队等待,颜色表示固定服务时间,不是 GPU 实测。
三条轨迹,C_S = 3、C_E = 1。空白是排队等待,颜色表示固定服务时间,不是 GPU 实测。 查看原尺寸架构图

具有两道独立容量控制的参考架构

准入控制器管理 个活跃轨迹槽。任务等待推理或工具期间仍占用该槽。独立的工具分发器管理 个实际执行槽;排队工具任务保留轨迹槽,但不占执行槽。推理网关把每一轮路由到模型 worker,由 worker 管理前缀缓存及混合模型的循环状态。持久化轨迹记录保存请求 ID、模型版本、工具结果与终止状态。这是教学参考设计,不是厂商私有架构。

轨迹标签只是亲和性提示,绝不是授权凭证。工具执行前必须检查租户、能力范围、参数、截止时间和取消状态。工具返回结果只释放下一个依赖它的推理阶段,不产生新的操作权限。缓存键应按获准共享范围及模型、分词器配置隔离。跨租户复用必须另行作安全决策,标签一致并不足够。

设置有界等待队列和准入背压。超时后记录明确的未知或失败状态;若外部副作用可能已发生,重试前先核对 operation ID 或业务状态。释放信号量不是回滚。取消需要移除等待任务,并在接口支持时传给正在执行的调用。重试必须有独立预算与退避策略;下一阶段变为就绪之前先保存检查点。这些是本文提出的工程要求,并非论文已经验证的结论。

原创参考架构:推理与环境分别受容量控制。实线传递请求与结果,虚线记录状态。授权检查先于工具执行,超时与取消进入终止或状态核对流程。
原创参考架构:推理与环境分别受容量控制。实线传递请求与结果,虚线记录状态。授权检查先于工具执行,超时与取消进入终止或状态核对流程。 查看原尺寸架构图

混合缓存容量:两个池可能互相限制

普通注意力模型保存的 key/value 随 token 长度增长;混合模型还可能保存轨迹的循环摘要。复用前缀往往需要两种状态同时存在。如果循环状态池无法保留同一批轨迹,大量空闲 KV 空间也没有用。论文因此在部署时按工作负载选择分配比例,而不是在批次运行中动态调整两个池。

设 M 为扣除权重和运行时预留后的可用缓存字节, 为每条驻留轨迹的估计 KV 字节, 为循环状态字节。令 ,驻留容量由两池容量中的较小者决定。令两者相等可得 ,连续近似容量为 ,再向下取整得到参考并发。这是近似:页粒度、碎片、共享前缀、中间状态及序列长度分布都会影响结果。

原创算例:预留 12 GiB 缓存,每条轨迹需 1 GiB KV 和 0.25 GiB 循环状态。6/6 GiB 分配只能容纳 min(6,24)=6 条;9.6/2.4 GiB 分配使两池都对应 9.6 条,整数参考为 9 条。但这不能证明 最好:长尾上下文可能触发驱逐,工具容量也可能早已饱和。应测量代表性轨迹并留余量,不能只按平均数配置生产环境。

路由与调度保留的是复用机会,而非保证

worker 亲和性避免反复计算不断增长的前缀,但绝对亲和可能使一个副本过载、另一个空闲。论文的负载有界一致性哈希先寻找轨迹的主 worker,在负载超过阈值时允许转移。它使用观测到的在途请求数,不预测未来 token 数。转移可能有意牺牲缓存以避免更长排队,因此缓存命中率只是中间指标。

worker 内的 routing-prefix 调度用近期轨迹标签缩小用于优先级计算的前缀查询范围。保留标签不证明 GPU 状态仍驻留;删除标签也不等于删除缓存。监控应分别记录路由亲和性、实际前缀复用、未缓存 prefill token、队列延迟和最终完成时间,否则高亲和率可能掩盖大量重复计算。

纯注意力模型无需循环状态分区,但路由取舍仍存在。共享缓存系统还要计入网络传输成本;论文的 worker 本地复用模型不能证明跨 worker 迁移的最优策略。异构 worker 的请求成本不同,单纯请求数也不是可靠负载量。采用同质 worker 规则前,应先考虑服务需求和设备能力。

不知道未来,如何推进观测到的长链

容量分离后,工具执行顺序决定哪些轨迹能更早暴露下一阶段。CAAS 按 B 秒的时间带对到达任务分组,优先处理最早时间带,再按已完成推理轮数从大到小、已观测平均推理耗时的桶从小到大、入队序号排序。轮数包括生成本次工具请求的那一轮;优先级在入队时固定,不读取未来轨迹长度。 优先级元组中, 为以秒计的到达时间, 为已完成推理轮数,带横线的 tau 为已观测的平均推理时长(秒), 为单调递增的入队序号。B 与 ΔI 均为正时长,因此元组各项无量纲。

设 B=30 秒、耗时桶宽为 1 秒。A 在第 61 秒到达,已完成 4 轮,平均耗时 2.2 秒,键前缀为 (2,−4,3)。B 在 59 秒到达,完成 1 轮、平均 1 秒,键为 (1,−1,1),因为时间带更早而先执行。C 在 62 秒到达,完成 7 轮、平均 3.1 秒,键为 (2,−7,4),同一时间带内 C 先于 A。只有时间带相同时,深度才影响排序。

深度只是剩余工作可能很长的启发式指标,不是关键路径预言机。已经做很多轮的任务可能马上结束,第一轮的任务却可能还有巨大工作量。B 较小趋近到达顺序;B 较大则增强深度影响。早期时间带限制反复插队,但不保证租户公平、截止时间或阻塞操作下的等待上界。存在这些需求时,还需配额、老化或 SLO 规则。

论文数字能说明什么,不能说明什么

11 月 12 日的 v1 技术报告使用 H20 部署评估 Ling-3.0-Flash、Ling-3.1-Flash 和多个 Agent 工作负载。10.4%–65.0% 的标题改善来自组合配置,不能全部归给 CAAS。实时 MCP-Atlas 结果是每种配置运行三次、每次 500 个任务后的平均值。下表注明来源,转列部分数值事实,不是 Token Lab 实测。

对 Ling-3.0,466.1 → 168.2 分钟对应推理优化与准入分离带来的 63.9% 降幅。在这一优化配置中仅切换环境调度策略,168.2 → 163.0 分钟进一步下降 3.1%;从原始基线计算,组合降幅约 65.0%。不能把 63.9% 与 3.1% 相加,因为分母不同。实时实验包含重试和失败终止任务,但不等于验证了人为注入的重试风暴或对抗性多租户负载。

回放固定阶段序列和环境耗时,但真正执行模型推理,因此测量的是执行效率,不保证生成动作的语义正确。实时实验补足这一方面,却会因随机采样出现不同轨迹。相较狭窄准入基线,优化方案最后 5% 区间可能变长,而整批仍更早结束,因为留下的是不同任务。必须同时看绝对完成时间与尾部任务构成,不能单独优化这个区间。

作者的 MCP-Atlas 实时结果 · 分钟 · 三次各 500 个任务
模型原始基线Opt-FCFSOpt-CAAS
Ling-3.0466.1168.2163.0
Ling-3.1333.5140.5128.5

arXiv:2611.16661v1 · Table 3https://arxiv.org/html/2611.16661v1#S5.T3

如何嵌入生产系统

先确定目标由谁负责。夜间评测器应在固定硬件和 API 预算下尽快生成完整、有效的报告。RL 还需要关注策略版本新鲜度:轨迹过时或选择不公平时,收集更快不一定使学习更新更好。用户侧 Agent 应先约束 p95 响应延迟与租户服务,再优化吞吐。不能为了让结果更快而从统计中删除失败任务。

CPU 受限的命令、受速率限制的 API、独占模拟器应分为不同资源类别,一个同质 只是教学模型。多工具操作可能持有多种资源,若缺乏获取顺序或预留机制就会死锁。通用 DAG 可以同时发出多个动作,而论文链式抽象每条轨迹最多只有一个未完成环境阶段。推广到 DAG 需要依赖追踪、汇合语义和按资源分类的队列。

未解决方向包括在线容量适配、异构 worker 负载估计、缓存迁移成本、租户公平和重试放大控制。合理上线顺序是可观测基线、可回退配置变更、受保护的逐步放量,并保留原调度器。任何启发式或学习型评分都不能绕过权限、截止时间和取消。解释完这些机制与边界后,再进入下面的实践验证。

实践与验证

使用 Python 3.11+,无需依赖包、API key 或网络。首个算例验证 12 秒与 8 秒;固定种子的 50 条轨迹比较 FCFS 与论文 CAAS 优先级规则。实现假设固定推理延迟、无限推理并行、同质不可抢占工具槽,以及每条轨迹最多一个未完成工具阶段。它不实现 GPU 批处理、缓存驱逐、路由、真实工具、故障恢复或作者完整系统。

agent-batch-scheduler.py
python3 agent-batch-scheduler.py

预期输出(种子 17):简单算例在两种策略下均为 12.0/8.0 秒;混合轨迹 FCFS 为 427.0 秒,CAAS 为 411.0 秒;最后 5% 区间为 28.0/2.0 秒,平均完成时间为 221.30/220.58 秒。这只是合成模拟器输出,不能预测你的部署。仅有三个任务时,离散 95% 分位点就是最终任务,尾区间为零,没有分析意义。

Python · agent-batch-scheduler.py
"""Token Lab synthetic scheduling lab. Python 3.11+, standard library only.
No model, API, tools, GPU or external environment is called.
Inference stages have fixed durations and unlimited parallel capacity.
This is an independently written teaching model, not the paper's evaluator.
"""
from dataclasses import dataclass
from heapq import heappush, heappop
from math import ceil, floor, isfinite

@dataclass(frozen=True)
class Trace:
    inference: tuple[float, ...]
    environment: tuple[float, ...]
    def __post_init__(self):
        assert len(self.inference) == len(self.environment) + 1
        assert all(isfinite(x) and x > 0 for x in self.inference + self.environment)


def run(traces, samples=4, environments=1, policy="fcfs", band=30.0, bucket=1.0):
    assert samples > 0 and environments > 0 and band > 0 and bucket > 0
    assert policy in {"fcfs", "caas"}
    events, pending, completed, spans = [], [], {}, []
    active = busy = next_task = serial = 0
    observed = [0.0] * len(traces)
    max_busy = 0
    def schedule(end, kind, task, turn):
        nonlocal serial
        serial += 1
        heappush(events, (end, serial, kind, task, turn))
    def admit(now):
        nonlocal active, next_task
        while active < samples and next_task < len(traces):
            task = next_task
            next_task += 1
            active += 1
            schedule(now + traces[task].inference[0], "inference", task, 0)
    admit(0.0)
    while events:
        now = events[0][0]
        # Process simultaneous completions before choosing the next environment job.
        while events and events[0][0] == now:
            _, _, kind, task, turn = heappop(events)
            trace = traces[task]
            if kind == "environment":
                busy -= 1
                schedule(now + trace.inference[turn + 1], "inference", task, turn + 1)
            else:
                observed[task] += trace.inference[turn]
                if turn == len(trace.environment):
                    completed[task] = now
                    active -= 1
                else:
                    serial += 1
                    key = (serial,) if policy == "fcfs" else (
                        floor(now / band), -(turn + 1),
                        ceil(observed[task] / (turn + 1) / bucket), serial)
                    heappush(pending, (key, task, turn, now))
        admit(now)
        while pending and busy < environments:
            _, task, turn, arrival = heappop(pending)
            end = now + traces[task].environment[turn]
            spans.append((task, turn, arrival, now, end))
            busy += 1
            max_busy = max(max_busy, busy)
            schedule(end, "environment", task, turn)
    assert len(completed) == len(traces) and not pending and busy == active == 0
    ordered = sorted(completed.values())
    t95 = ordered[ceil(.95 * len(ordered)) - 1] if ordered else 0
    end = ordered[-1] if ordered else 0
    return {"makespan": end, "tail5": end - t95,
            "mean_completion": sum(ordered) / len(ordered) if ordered else 0,
            "completed": completed, "spans": spans, "max_busy": max_busy}


def checks():
    short = Trace((1., 1.), (2.,))
    assert run([short], samples=1)["makespan"] == 4
    assert run([short] * 3, samples=1)["makespan"] == 12
    assert run([short] * 3, samples=3)["makespan"] == 8
    for policy in ["fcfs", "caas"]:
        r = run([short] * 3, samples=3, environments=2, policy=policy)
        assert r["max_busy"] <= 2 and r["makespan"] == 6
        assert sum(e-s for _, _, _, s, e in r["spans"]) == 6
    # Earlier arrival bands outrank later bands regardless of observed depth.
    assert (0, -1, 5, 1) < (1, -100, 1, 2)
    try:
        Trace((1.,), (2.,))
    except AssertionError:
        pass
    else:
        raise AssertionError("invalid dependency chain accepted")
    return short

if __name__ == "__main__":
    short = checks()
    print("checks=passed")
    for policy in ["fcfs", "caas"]:
        for capacity in [1, 3]:
            r = run([short] * 3, samples=capacity, policy=policy)
            print(f"{policy} C_S={capacity} C_E=1 makespan={r['makespan']:.1f}s")
    # A broader synthetic comparison, with identical traces for both policies.
    import random
    rng = random.Random(17)
    traces = []
    for _ in range(50):
        turns = rng.choice([1, 2, 8, 16])
        traces.append(Trace(tuple(float(rng.randint(1, 4)) for _ in range(turns+1)),
                            tuple(float(rng.randint(1, 6)) for _ in range(turns))))
    for policy in ["fcfs", "caas"]:
        r = run(traces, samples=20, environments=3, policy=policy)
        print(f"{policy} mixed makespan={r['makespan']:.1f}s tail5={r['tail5']:.1f}s "
              f"mean={r['mean_completion']:.2f}s")

公平比较需固定轨迹、提交顺序、、 和种子,只改变队列策略;然后单独改变准入。扫描时间带宽和工具容量,加入相同深度与高度偏斜轨迹,同时报告退化与改善。注入超时时固定终止策略,并统计全部已准入任务。推断 GPU 效果前先加入有限推理容量。单个有利种子既不证明统计显著性,也不证明普遍优越。

原创模拟面试题,非公司真实面试题

为什么 TPOT 变差,整批却能更早完成?

提示

区分单次调用争用与跨任务重叠。

答案与分析

提高准入并发可能拖慢每个解码,但让更多独立阶段同时推进。目标应是带约束的 makespan;需要时另设延迟 SLO,并同时报告两类指标。

65% 是否衡量 CAAS 单独效果?

提示

选择仅改变一个因素的基线。

答案与分析

不是。实时 Ling-3.0 MCP-Atlas 的增量策略效果应比较 168.2 与 163.0 分钟,约 3.1%;466.1 与 163.0 衡量组合配置。分母不同。

标签还在,但缓存已被驱逐,会怎样?

提示

路由提示不是存储状态。

答案与分析

亲和路由仍运行,但 prefill 重算增加。需要测实际缓存 token 与未缓存工作量;恢复时重建授权上下文,不能因标签存在就认可过期或跨租户数据。

工具提交付款后超时,是否立即重试?

提示

区分资源记账与外部副作用。

答案与分析

不能盲目重试。先记录不确定状态,用 operation ID 向支付系统核对,并遵守幂等约定。释放信号量不能撤销付款,调度提速不能成为重复业务操作的理由。

评分:1 分能说出指标;2 分能区分队列、准入与执行;3 分能推导算例并运行代码;4 分能设计公平对照并解释退化;5 分能补上故障语义、租户约束和有依据的上线方案。掌握程度取决于能力,不取决于阅读时长。

预测、检验与证据记录

展开答案前先预测一个结果;练习后记录差异和迁移测试。记录仅存本地,在不同语言版本间共用。

打开记录/导出/清除 →

数学复核范围逐篇记录,不代表完成论文实证复现;可在笔记中记录疑似错误。 复核范围

参考文献与延伸学习

原论文作者为蚂蚁集团 Ling Team 的 Wei Feng 等人,v1 采用 CC BY 4.0。公式、方法说明和选取的数据表均注明归属并进行教学改编。架构图、算例与模拟器由 Token Lab 原创。本轮未核实论文实现仓库,本地模拟器不能被视为作者代码。

继续学习:Agent 架构、缓存机制与 RAG