Agentバッチの完了時間:推論・キャッシュ・ツールを協調させる
複数ターンのAgentをまとめて早く完了させるためのシステム解説。受付と実行容量を分離し、再利用可能な状態を保持し、長い呼び出し列を先に進める利点と代償を理解します。
出典とバージョン
この記事の目次
一回の呼び出しが速くても、バッチは遅くなる
毎晩500個のコーディングAgentを評価するとします。各Agentはモデルに次の行動を問い合わせ、サンドボックスのコマンドを待ち、結果を読んで再び推論します。全軌跡が終了するまでリリース判定はできません。終盤には多くのGPUが空いているのに、一つのAgentだけが遅いコマンドと推論を交互に実行する場合があります。トークン生成を速めても、別サービスの待ち行列や依存関係は消えません。
軌跡とは一つのタスクのモデル・環境処理の全系列です。makespanはバッチ開始から最後の終了までの実時間で、失敗による終了も含みます。平均完了時間、最初のトークンまでのTTFT、トークン当たりのTPOT、最後の5%の完了区間とは別の指標です。ここでは評価、合成データ、rollout収集の有限バッチを扱います。対話サービスでは利用者の遅延と公平性を別途制約にする必要があります。
目標はボトルネックの特定、独立した容量制御、キャッシュ常駐数の計算、正しいアブレーションの読み方、ローカル実装です。前提はキュー、同時実行数、因果依存の理解です。待機と実行は異なり、ツール待ち中も文脈は存在し、必要な観測が届くまで次の推論は始められません。方式名の暗記より、この区別が重要です。
クリティカルパスと資源による下界
三つの同一タスクが推論1秒→ツール2秒→推論1秒を実行します。受付枠が一つなら12秒です。三つを同時に受け付け、ツール枠は一つのままにすると、最初の推論は0〜1秒で並行実行できます。ツールは1〜3、3〜5、5〜7秒、最後の推論の終了は4、6、8秒です。個々の操作を速めず8秒で完了し、平均は8秒から6秒になります。無制限の推論並列性を仮定した独自例で、GPU実測ではありません。
資源下界は6秒、最長単独経路は4秒なので一般的な下界は6秒です。実際の8秒との差は初回の解放待ちと最後の推論です。利用率だけでは最適なスケジュールとは証明できません。実サーバーではバッチ化も働き、並行数増加で一回の呼び出しが遅くなっても全体が早く終わることがあります。
二つの独立した制御を持つ参考構成
受付制御は
軌跡ラベルは配置のヒントであって権限ではありません。実行前にテナント、ツール権限、引数、期限、取消状態を検証します。観測の到着は依存する次の推論を可能にするだけで、新しい操作権限を与えません。キャッシュキーは共有を許可した範囲とモデル・tokenizer設定で分離し、テナント横断共有をラベル一致だけで認めてはいけません。
待機列に上限を設け、受付へ背圧を返します。タイムアウト時は不確実または失敗を明記します。外部副作用が発生した可能性があれば、再試行前に操作IDや状態を照合します。セマフォ解放はロールバックではありません。取消の伝播、再試行予算とバックオフ、次段階を解放する前のチェックポイント保存が必要です。これらは本記事の工程要件で、論文で検証済みという意味ではありません。
ハイブリッドキャッシュの二つの容量
通常のattentionでは保存するkey/valueが文脈長に従って増えます。ハイブリッドモデルでは軌跡ごとの循環要約状態も保存できます。前置部分の再利用には両方が必要な場合があり、循環状態側が足りなければ余ったKV空間は役立ちません。論文は配置時に負荷に応じた分割を選び、バッチ中に動的変更する方式ではありません。
Mは重みと実行時予約を引いたメモリ、
独自例では12 GiBを予約し、一軌跡のKVは1 GiB、循環状態は0.25 GiBとします。6/6 GiB分割ではmin(6,24)=6軌跡、9.6/2.4では双方9.6で整数参考は9です。しかし
親和性は再利用の保証ではない
同じworkerへ戻せば伸び続ける前置の再計算を避けられますが、固定すると一台だけ混雑し得ます。論文の負荷制限付きconsistent hashingはホームworkerから始め、観測中の要求数に基づき他へ流します。未来のtoken数は予測しません。長い待ち列を避けるためにキャッシュを犠牲にする場合もあり、ヒット率は最終目標ではありません。
worker内のrouting-prefixは最近のラベルを使い、優先度用の前置検索を絞ります。ラベルが残っていてもGPU状態があるとは限らず、ラベル削除もキャッシュ削除ではありません。配置親和性、実際の再利用、未キャッシュprefill、待ち時間、終了時間を分けて計測しないと、高い親和率が再計算を隠します。
通常attentionのみなら循環状態の分割は不要ですが配置の取捨は残ります。共有キャッシュではネットワーク転送費用も必要で、worker内再利用の論文結果は移送の最適性を証明しません。異種workerでは要求数だけの負荷指標は弱く、処理需要と容量を考慮します。
未来を知らずに観測済みの長い列を進める
容量分離後、ツール順序が次の段階を早く明らかにする軌跡を決めます。CAASは到着をB秒ごとの帯に分け、古い帯、完了推論ターン数の多さ、観測平均推論時間の小さい区分、FIFO順の順で比較します。ターン数には今回のツールを生成したターンを含み、入列時のキーを固定します。未来の軌跡長は読みません。 優先度の組では、
B=30秒、時間区分1秒とします。Aは61秒に到着し4ターン平均2.2秒なので(2,−4,3)。Bは59秒に到着し1ターン平均1秒で(1,−1,1)となり、古い帯なのでBが先です。Cは62秒に到着し7ターン平均3.1秒で(2,−7,4)なので、同じ帯ではAより先です。深さが効くのは帯比較の後です。
深さは残り仕事の長さを推測するヒューリスティックで、予言ではありません。深い軌跡が間もなく終わり、一ターン目の軌跡に膨大な仕事が残ることもあります。Bが小さいと到着順、大きいと深さを重視します。帯は反復追い越しを抑えますが、テナント公平性、期限、停止操作下の待機上限は保証しません。必要なら別の割当・老化・SLO制御を加えます。
公表値が示すことと示さないこと
11月12日のv1技術報告はH20上のLing-3.0-FlashとLing-3.1-Flashを扱います。10.4%〜65.0%という改善は複数変更を合わせた構成の値で、CAAS単独ではありません。実環境MCP-Atlasは構成ごと500タスクを3回実行した平均です。表は出典付き数値で、Token Labの測定ではありません。
Ling-3.0の466.1→168.2分は推論最適化と受付分離による63.9%減です。その構成で環境方策だけ変えると168.2→163.0分、追加3.1%です。元の基準に対する合計は65.0%であり、分母が異なるので63.9と3.1を足してはいけません。再試行と失敗終了も計測に入っていますが、再試行嵐や敵対的な複数テナント負荷の検証ではありません。
replayは段階系列と環境時間を固定して実推論を行うため、効率を測りますが生成行動の意味的正しさは保証しません。実環境評価はこれを補う一方、確率的に軌跡が変わります。狭い受付の基準より最後の5%区間が長くても、全体は早く終わる場合があります。最後に残るタスクが変わるためです。絶対終了時刻と尾部の構成を合わせて見ます。
| モデル | 基準 | Opt-FCFS | Opt-CAAS |
|---|---|---|---|
| Ling-3.0 | 466.1 | 168.2 | 163.0 |
| Ling-3.1 | 333.5 | 140.5 | 128.5 |
arXiv:2611.16661v1 · Table 3https://arxiv.org/html/2611.16661v1#S5.T3
本番への適用と未解決課題
夜間評価なら固定予算で完全かつ有効な報告までの時間を最小化します。RLでは方策版の鮮度も重要で、古い・偏った軌跡を早く集めても学習が良くなるとは限りません。対話Agentはp95遅延とテナントサービスを制約にします。見かけを良くするため失敗を分母から消してはいけません。
CPU制約のシェル、APIレート制限、独占シミュレータは別資源クラスにします。単一の同質
オンライン容量調整、異種負荷推定、キャッシュ転送費用、公平性、再試行増幅が残ります。計測可能な基準、可逆な設定変更、保護付き段階展開という順序で導入し、元の方策を残します。ヒューリスティックも学習した優先度も権限・期限・取消を迂回してはなりません。境界を理解した上で次の実験へ進みます。
実践と検証
Python 3.11+のみを使い、追加パッケージ・APIキー・ネットワークは不要です。最初は12秒と8秒を検証し、固定seedの50軌跡でFCFSと論文のCAASキーを比較します。固定推論時間と無制限並列、同質で非プリエンプティブなツール枠、一軌跡一未完了ツールを仮定します。GPUバッチ化、キャッシュ追い出し、ルーティング、実ツール、障害復旧、著者システムは実装しません。
agent-batch-scheduler.pypython3 agent-batch-scheduler.pyseed 17の期待値:単純例は両方策とも12.0/8.0秒。混合例はFCFS=427.0秒、CAAS=411.0秒、最後の5%区間=28.0/2.0秒、平均=221.30/220.58秒です。合成出力であり本番予測ではありません。三タスクでは離散95%分位点が最後のタスクになり、尾区間ゼロに分析価値はありません。
Python · agent-batch-scheduler.py
"""Token Lab synthetic scheduling lab. Python 3.11+, standard library only.
No model, API, tools, GPU or external environment is called.
Inference stages have fixed durations and unlimited parallel capacity.
This is an independently written teaching model, not the paper's evaluator.
"""
from dataclasses import dataclass
from heapq import heappush, heappop
from math import ceil, floor, isfinite
@dataclass(frozen=True)
class Trace:
inference: tuple[float, ...]
environment: tuple[float, ...]
def __post_init__(self):
assert len(self.inference) == len(self.environment) + 1
assert all(isfinite(x) and x > 0 for x in self.inference + self.environment)
def run(traces, samples=4, environments=1, policy="fcfs", band=30.0, bucket=1.0):
assert samples > 0 and environments > 0 and band > 0 and bucket > 0
assert policy in {"fcfs", "caas"}
events, pending, completed, spans = [], [], {}, []
active = busy = next_task = serial = 0
observed = [0.0] * len(traces)
max_busy = 0
def schedule(end, kind, task, turn):
nonlocal serial
serial += 1
heappush(events, (end, serial, kind, task, turn))
def admit(now):
nonlocal active, next_task
while active < samples and next_task < len(traces):
task = next_task
next_task += 1
active += 1
schedule(now + traces[task].inference[0], "inference", task, 0)
admit(0.0)
while events:
now = events[0][0]
# Process simultaneous completions before choosing the next environment job.
while events and events[0][0] == now:
_, _, kind, task, turn = heappop(events)
trace = traces[task]
if kind == "environment":
busy -= 1
schedule(now + trace.inference[turn + 1], "inference", task, turn + 1)
else:
observed[task] += trace.inference[turn]
if turn == len(trace.environment):
completed[task] = now
active -= 1
else:
serial += 1
key = (serial,) if policy == "fcfs" else (
floor(now / band), -(turn + 1),
ceil(observed[task] / (turn + 1) / bucket), serial)
heappush(pending, (key, task, turn, now))
admit(now)
while pending and busy < environments:
_, task, turn, arrival = heappop(pending)
end = now + traces[task].environment[turn]
spans.append((task, turn, arrival, now, end))
busy += 1
max_busy = max(max_busy, busy)
schedule(end, "environment", task, turn)
assert len(completed) == len(traces) and not pending and busy == active == 0
ordered = sorted(completed.values())
t95 = ordered[ceil(.95 * len(ordered)) - 1] if ordered else 0
end = ordered[-1] if ordered else 0
return {"makespan": end, "tail5": end - t95,
"mean_completion": sum(ordered) / len(ordered) if ordered else 0,
"completed": completed, "spans": spans, "max_busy": max_busy}
def checks():
short = Trace((1., 1.), (2.,))
assert run([short], samples=1)["makespan"] == 4
assert run([short] * 3, samples=1)["makespan"] == 12
assert run([short] * 3, samples=3)["makespan"] == 8
for policy in ["fcfs", "caas"]:
r = run([short] * 3, samples=3, environments=2, policy=policy)
assert r["max_busy"] <= 2 and r["makespan"] == 6
assert sum(e-s for _, _, _, s, e in r["spans"]) == 6
# Earlier arrival bands outrank later bands regardless of observed depth.
assert (0, -1, 5, 1) < (1, -100, 1, 2)
try:
Trace((1.,), (2.,))
except AssertionError:
pass
else:
raise AssertionError("invalid dependency chain accepted")
return short
if __name__ == "__main__":
short = checks()
print("checks=passed")
for policy in ["fcfs", "caas"]:
for capacity in [1, 3]:
r = run([short] * 3, samples=capacity, policy=policy)
print(f"{policy} C_S={capacity} C_E=1 makespan={r['makespan']:.1f}s")
# A broader synthetic comparison, with identical traces for both policies.
import random
rng = random.Random(17)
traces = []
for _ in range(50):
turns = rng.choice([1, 2, 8, 16])
traces.append(Trace(tuple(float(rng.randint(1, 4)) for _ in range(turns+1)),
tuple(float(rng.randint(1, 6)) for _ in range(turns))))
for policy in ["fcfs", "caas"]:
r = run(traces, samples=20, environments=3, policy=policy)
print(f"{policy} mixed makespan={r['makespan']:.1f}s tail5={r['tail5']:.1f}s "
f"mean={r['mean_completion']:.2f}s")
軌跡、投入順、
独自の模擬面接問題:企業の実出題ではありません
TPOTが悪化しても全体は早く終わるのはなぜですか。
ヒント
個別争用と段階の重なりを分けます。
解答と分析
並行数増加で各decodeが遅くても独立段階が多く進みます。必要な遅延SLOを課したmakespanを最適化し両指標を報告します。
65%はCAASだけの効果ですか。
ヒント
一介入だけ異なる比較を選びます。
解答と分析
違います。Ling-3.0 MCP-Atlasの168.2対163.0分は追加3.1%。466.1対163.0は組合せで分母が異なります。
ラベルが残りキャッシュだけ消えたらどうなりますか。
ヒント
配置ヒントと保存状態は別です。
解答と分析
配置は維持されてもprefillが増えます。実際の再利用と新規計算を測定し、認可された文脈を再構築します。ラベルで古い情報や他テナント情報を正当化しません。
支払送信後のタイムアウトを直ちに再試行しますか。
ヒント
容量記帳と外部副作用を区別します。
解答と分析
盲目的には繰り返しません。不確実状態を記録し、操作IDで照合し冪等契約を適用します。セマフォ解放は支払取消ではなく、二重処理を許しません。
採点:1—指標を説明、2—キュー・受付・実行を区別、3—計算とコード実行、4—公平な比較と悪化の説明、5—障害・テナント制約・展開根拠まで設計。読了時間ではなく能力で判断します。
予測・検証・根拠の記録
解答を開く前に結果を予測し、演習後に差異と応用テストを記録します。端末内に保存し、言語版間で共有します。
記録を開く/書き出す/消去する →数学的確認の範囲は授業ごとに記録されています。論文の実証再現の証明ではありません。疑問点はメモに記録してください。 確認範囲
参考資料と次の学習
原論文はAnt GroupのLing Team、Wei Fengらによるもので、v1はCC BY 4.0です。数式・方式説明・表は出典を示した改編です。図・算例・シミュレータはToken Lab独自の教材です。実装リポジトリは今回確認しておらず、教材コードを著者のコードと扱わないでください。
- arXiv · abstract / v1https://arxiv.org/abs/2611.16661v1
- arXiv · PDF / v1https://arxiv.org/pdf/2611.16661v1
- arXiv · full HTML / v1https://arxiv.org/html/2611.16661v1
- CC BY 4.0https://creativecommons.org/licenses/by/4.0/
- SGLang · sourcehttps://github.com/sgl-project/sglang
- Stanford CS329Z · Engineering AI Agentshttps://cs329z.stanford.edu/