Agent 배치 완료 시간: 추론·캐시·도구의 협력 스케줄링
다중 턴 Agent 배치를 더 일찍 완료하는 시스템 튜토리얼. 작업 수용과 도구 실행 용량을 분리하고 상태를 재사용하며, 긴 호출 체인을 먼저 진행할 때의 이점과 한계를 설명합니다.
출처 및 버전 정보
이 글의 목차
개별 호출이 빨라도 배치는 느릴 수 있다
매일 밤 코딩 Agent 500개를 평가한다고 가정합니다. 각 Agent는 모델에 다음 행동을 묻고 샌드박스 명령을 기다린 뒤 관측을 읽고 다시 추론합니다. 모든 궤적이 종료되어야 출시 판단을 내립니다. 마지막에는 대부분의 GPU가 놀고 있어도 한 Agent가 느린 명령과 추론을 번갈아 수행할 수 있습니다. 토큰 디코딩을 가속해도 다른 서비스의 큐와 의존성은 사라지지 않습니다.
궤적은 한 작업의 전체 모델·환경 단계입니다. makespan은 배치 시작부터 마지막 종료까지의 실제 시간이며 실패로 끝난 작업도 포함합니다. 평균 완료 시간, 첫 토큰 지연 TTFT, 토큰당 지연 TPOT, 마지막 5%의 완료 구간과 다릅니다. 여기서는 평가·합성 데이터·rollout 수집 같은 유한 오프라인 배치를 다룹니다. 대화형 서비스에는 사용자 지연과 공정성 제약을 별도로 명시해야 합니다.
학습 목표는 병목 식별, 독립 용량 제어, 캐시 상주 계산, 올바른 절제 실험 해석, 로컬 구현입니다. 큐·동시성·인과 의존성이 선수 지식입니다. 대기는 실행이 아니며 도구 대기 중에도 문맥은 남습니다. 다음 추론은 필요한 관측 이후에만 가능합니다. 스케줄러 이름보다 이 구분을 이해하는 것이 중요합니다.
임계 경로와 자원 하한
세 작업이 각각 추론 1초 → 도구 2초 → 추론 1초를 실행합니다. 한 작업만 수용하면 12초가 필요합니다. 세 작업을 모두 수용하되 도구 슬롯 하나를 유지하면 첫 추론은 0–1초에 겹칩니다. 도구는 1–3, 3–5, 5–7초에 실행되고 마지막 추론은 4, 6, 8초에 끝납니다. 어떤 연산도 빨라지지 않았지만 makespan은 8초, 평균은 직렬 수용의 8초에서 6초로 줄어듭니다. 추론 병렬성이 무한한 독자적 결정론 예제이며 GPU 실측이 아닙니다.
도구 자원 하한은 6초, 가장 긴 단독 경로는 4초이므로 일반 하한은 6초입니다. 실제 8초에는 최초 준비 지연과 마지막 추론이 포함됩니다. 활용률 대시보드만으로 최적 일정을 증명할 수 없는 이유입니다. 실제 서버는 배치 효과도 있어 동시성 증가가 각 호출을 느리게 하면서 전체 배치를 단축할 수 있습니다.
독립적인 두 제어 지점을 가진 참고 구조
수용 제어기는
궤적 라벨은 배치 친화도 힌트이지 권한 증명이 아닙니다. 실행 전에 테넌트, 도구 capability, 인자, 기한, 취소 상태를 검사해야 합니다. 결과는 다음 의존 단계를 준비시킬 뿐 추가 권한을 부여하지 않습니다. 캐시 키를 승인된 공유 범위와 모델·토크나이저 설정으로 분리합니다. 테넌트 간 공유는 별도 보안 판단이 필요합니다.
대기 큐에 한계를 두고 수용에 역압력을 적용합니다. 타임아웃은 불확실하거나 실패한 상태로 기록합니다. 외부 부작용이 발생했을 수 있다면 재시도 전에 작업 ID나 업무 상태를 확인합니다. 세마포어 해제는 롤백이 아닙니다. 취소 전파, 재시도 예산·백오프, 다음 단계 준비 전 체크포인트 저장도 필요합니다. 이는 제안하는 엔지니어링 요구사항이며 논문의 검증 결과로 주장하지 않습니다.
하이브리드 캐시의 두 풀
일반 attention에서 저장하는 key/value는 문맥 길이에 따라 증가합니다. 하이브리드 모델은 궤적의 순환 요약 상태도 저장할 수 있으며 프리픽스 재사용에 둘 다 필요할 수 있습니다. 순환 상태가 부족하면 빈 KV 공간도 도움이 되지 않습니다. 논문은 배포 시 워크로드 기반 분할을 선택하며 배치 실행 중 동적으로 변경하지 않습니다.
M은 가중치와 런타임 예약을 제외한 메모리,
독자적 예제로 12 GiB 캐시에 궤적당 KV 1 GiB, 순환 상태 0.25 GiB를 가정합니다. 6/6 GiB 분할은 min(6,24)=6개, 9.6/2.4 분할은 양쪽 9.6개로 정수 참고값 9입니다. 그러나
친화도는 재사용 보장이 아니다
같은 worker를 쓰면 증가하는 프리픽스의 재계산을 피하지만 한 복제본만 과부하가 될 수 있습니다. 논문의 부하 제한 consistent hashing은 홈 worker에서 시작해 관측 중인 요청 수에 따라 다른 worker로 넘깁니다. 미래 토큰 수는 예측하지 않습니다. 더 긴 큐를 피하려면 캐시를 희생할 수도 있어 적중률은 최종 목표가 아닙니다.
worker 내부 routing-prefix는 최근 라벨로 우선순위용 프리픽스 조회를 좁힙니다. 라벨이 있어도 GPU 상태가 남아 있다는 증거는 아니며 라벨 삭제가 캐시 삭제도 아닙니다. 라우팅 친화도, 실제 재사용, 미캐시 prefill 토큰, 대기, 최종 완료를 별도로 측정합니다. 높은 친화도가 비싼 재계산을 숨길 수 있습니다.
순수 attention에서는 순환 풀 분할이 필요 없지만 라우팅 절충은 남습니다. 공유 캐시에는 네트워크 전송비도 필요하며 로컬 재사용 모델로 캐시 이동의 최적성을 주장할 수 없습니다. 이기종 worker의 요청은 비용이 달라 요청 수만으로 부하를 판단하기 어렵습니다. 수요와 장치 능력을 함께 고려합니다.
미래를 보지 않고 관측된 긴 체인을 진행하기
용량 분리 뒤 도구 순서가 어느 궤적의 다음 단계를 먼저 드러낼지 결정합니다. CAAS는 도착을 B초 구간으로 묶고 오래된 구간, 완료된 추론 턴 수가 큰 순서, 관측 평균 추론 시간이 작은 버킷, FIFO 순으로 비교합니다. 깊이에는 현재 도구를 만든 턴도 포함합니다. 키는 입장 때 고정되고 미래 길이는 보지 않습니다. 우선순위 튜플에서
B=30초, 시간 버킷 1초라 합시다. A는 61초에 도착해 4턴 평균 2.2초이므로 (2,−4,3)입니다. B는 59초에 도착한 1턴 평균 1초로 (1,−1,1), 구간이 빨라 우선합니다. C는 62초에 도착한 7턴 평균 3.1초로 (2,−7,4), 같은 구간에서 A보다 먼저입니다. 깊이는 도착 구간을 비교한 뒤 작용합니다.
깊이는 남은 일이 길 가능성을 나타내는 휴리스틱이지 임계 경로 예언이 아닙니다. 깊은 궤적이 곧 끝나고 첫 턴 궤적에 많은 일이 남을 수 있습니다. 작은 B는 도착 순서, 큰 B는 깊이에 더 무게를 둡니다. 구간은 반복 추월을 제한하지만 테넌트 공정성, 기한, 정지된 작업의 대기 상한을 보장하지 않습니다. 필요하면 할당량·노화·SLO 규칙을 추가합니다.
공개 수치의 올바른 해석
11월 12일 v1 보고서는 H20의 Ling-3.0-Flash와 Ling-3.1-Flash를 평가합니다. 10.4%–65.0% 개선은 조합 구성의 결과이지 CAAS 단독 결과가 아닙니다. 라이브 MCP-Atlas는 구성당 500개 작업을 세 번 실행한 평균입니다. 표는 출처를 표시한 수치 사실이며 Token Lab 실측이 아닙니다.
Ling-3.0의 466.1→168.2분은 추론 최적화와 수용 분리로 63.9% 감소한 것입니다. 이 구성에서 환경 정책만 바꾸면 168.2→163.0분으로 추가 3.1%입니다. 원래 기준 대비 합산 구성은 65.0%입니다. 분모가 달라 63.9와 3.1을 더하면 안 됩니다. 라이브 실행은 재시도와 실패 종료를 포함하지만 재시도 폭풍이나 적대적 다중 테넌트 부하를 검증한 것은 아닙니다.
replay는 단계와 환경 시간을 고정하고 실제 추론을 실행하므로 실행 효율을 측정하지만 생성 행동의 의미적 정확성을 보장하지 않습니다. 라이브 평가는 보완 근거이나 확률적 궤적 차이가 있습니다. 좁은 수용 기준보다 마지막 5% 구간이 길어도 전체는 더 빨리 끝날 수 있습니다. 끝에 남는 작업이 다르기 때문입니다. 절대 완료 시간과 꼬리 집단 구성을 함께 봐야 합니다.
| 모델 | 기준 | Opt-FCFS | Opt-CAAS |
|---|---|---|---|
| Ling-3.0 | 466.1 | 168.2 | 163.0 |
| Ling-3.1 | 333.5 | 140.5 | 128.5 |
arXiv:2611.16661v1 · Table 3https://arxiv.org/html/2611.16661v1#S5.T3
운영 적용과 미해결 문제
야간 평가에서는 고정 예산으로 완전하고 유효한 보고서를 만드는 시간을 줄입니다. RL은 정책 버전의 신선도도 중요합니다. 오래되거나 편향된 궤적을 더 빨리 수집해도 학습이 나아진다는 보장은 없습니다. 사용자 Agent에는 p95 지연과 테넌트 서비스 제약을 먼저 둡니다. 실패를 분모에서 빼서 결과를 좋게 만들면 안 됩니다.
CPU 제한 셸, 호출 한도가 있는 API, 독점 시뮬레이터는 별도 자원 클래스로 나눕니다. 단일 동질
온라인 용량 조절, 이기종 부하 추정, 캐시 전송 경제성, 공정성, 재시도 증폭이 미해결 방향입니다. 관측 가능한 기준에서 시작해 되돌릴 수 있는 설정 변경과 보호된 점진 배포를 수행하고 기존 정책을 보존합니다. 학습·휴리스틱 점수가 권한·기한·취소를 우회해서는 안 됩니다. 이런 경계를 이해한 후 아래 실험으로 넘어갑니다.
실습과 검증
Python 3.11+ 표준 라이브러리만 사용하며 패키지·키·네트워크가 필요 없습니다. 첫 예제는 12초 대 8초를 검증하고 고정 seed의 50개 궤적은 같은 입력에서 FCFS와 논문의 CAAS 키를 비교합니다. 고정 지연과 무한 추론 병렬성, 동질 비선점 도구 슬롯, 궤적당 하나의 미완료 도구를 가정합니다. GPU 배치·캐시 퇴거·라우팅·실제 도구·장애 복구·저자의 시스템은 구현하지 않습니다.
agent-batch-scheduler.pypython3 agent-batch-scheduler.pyseed 17 예상 출력: 단순 예제는 두 정책 모두 12.0/8.0초. 혼합 FCFS=427.0초, CAAS=411.0초, 마지막 5%=28.0/2.0초, 평균=221.30/220.58초입니다. 합성 출력이며 배포 예측이 아닙니다. 세 작업의 이산 95% 분위수는 마지막 작업이므로 꼬리 구간 0은 의미가 없습니다.
Python · agent-batch-scheduler.py
"""Token Lab synthetic scheduling lab. Python 3.11+, standard library only.
No model, API, tools, GPU or external environment is called.
Inference stages have fixed durations and unlimited parallel capacity.
This is an independently written teaching model, not the paper's evaluator.
"""
from dataclasses import dataclass
from heapq import heappush, heappop
from math import ceil, floor, isfinite
@dataclass(frozen=True)
class Trace:
inference: tuple[float, ...]
environment: tuple[float, ...]
def __post_init__(self):
assert len(self.inference) == len(self.environment) + 1
assert all(isfinite(x) and x > 0 for x in self.inference + self.environment)
def run(traces, samples=4, environments=1, policy="fcfs", band=30.0, bucket=1.0):
assert samples > 0 and environments > 0 and band > 0 and bucket > 0
assert policy in {"fcfs", "caas"}
events, pending, completed, spans = [], [], {}, []
active = busy = next_task = serial = 0
observed = [0.0] * len(traces)
max_busy = 0
def schedule(end, kind, task, turn):
nonlocal serial
serial += 1
heappush(events, (end, serial, kind, task, turn))
def admit(now):
nonlocal active, next_task
while active < samples and next_task < len(traces):
task = next_task
next_task += 1
active += 1
schedule(now + traces[task].inference[0], "inference", task, 0)
admit(0.0)
while events:
now = events[0][0]
# Process simultaneous completions before choosing the next environment job.
while events and events[0][0] == now:
_, _, kind, task, turn = heappop(events)
trace = traces[task]
if kind == "environment":
busy -= 1
schedule(now + trace.inference[turn + 1], "inference", task, turn + 1)
else:
observed[task] += trace.inference[turn]
if turn == len(trace.environment):
completed[task] = now
active -= 1
else:
serial += 1
key = (serial,) if policy == "fcfs" else (
floor(now / band), -(turn + 1),
ceil(observed[task] / (turn + 1) / bucket), serial)
heappush(pending, (key, task, turn, now))
admit(now)
while pending and busy < environments:
_, task, turn, arrival = heappop(pending)
end = now + traces[task].environment[turn]
spans.append((task, turn, arrival, now, end))
busy += 1
max_busy = max(max_busy, busy)
schedule(end, "environment", task, turn)
assert len(completed) == len(traces) and not pending and busy == active == 0
ordered = sorted(completed.values())
t95 = ordered[ceil(.95 * len(ordered)) - 1] if ordered else 0
end = ordered[-1] if ordered else 0
return {"makespan": end, "tail5": end - t95,
"mean_completion": sum(ordered) / len(ordered) if ordered else 0,
"completed": completed, "spans": spans, "max_busy": max_busy}
def checks():
short = Trace((1., 1.), (2.,))
assert run([short], samples=1)["makespan"] == 4
assert run([short] * 3, samples=1)["makespan"] == 12
assert run([short] * 3, samples=3)["makespan"] == 8
for policy in ["fcfs", "caas"]:
r = run([short] * 3, samples=3, environments=2, policy=policy)
assert r["max_busy"] <= 2 and r["makespan"] == 6
assert sum(e-s for _, _, _, s, e in r["spans"]) == 6
# Earlier arrival bands outrank later bands regardless of observed depth.
assert (0, -1, 5, 1) < (1, -100, 1, 2)
try:
Trace((1.,), (2.,))
except AssertionError:
pass
else:
raise AssertionError("invalid dependency chain accepted")
return short
if __name__ == "__main__":
short = checks()
print("checks=passed")
for policy in ["fcfs", "caas"]:
for capacity in [1, 3]:
r = run([short] * 3, samples=capacity, policy=policy)
print(f"{policy} C_S={capacity} C_E=1 makespan={r['makespan']:.1f}s")
# A broader synthetic comparison, with identical traces for both policies.
import random
rng = random.Random(17)
traces = []
for _ in range(50):
turns = rng.choice([1, 2, 8, 16])
traces.append(Trace(tuple(float(rng.randint(1, 4)) for _ in range(turns+1)),
tuple(float(rng.randint(1, 6)) for _ in range(turns))))
for policy in ["fcfs", "caas"]:
r = run(traces, samples=20, environments=3, policy=policy)
print(f"{policy} mixed makespan={r['makespan']:.1f}s tail5={r['tail5']:.1f}s "
f"mean={r['mean_completion']:.2f}s")
궤적·제출 순서·
독창적인 모의 면접 문제: 기업 실제 문제가 아닙니다
TPOT가 악화돼도 배치가 빨리 끝나는 이유는?
힌트
개별 경쟁과 단계 중첩을 나눕니다.
답과 분석
동시성이 커지면 decode는 느려도 독립 단계가 더 많이 진행됩니다. 필요한 SLO를 제약으로 makespan을 최적화하고 둘 다 보고합니다.
65%는 CAAS만의 효과인가요?
힌트
하나의 개입만 다른 기준을 고릅니다.
답과 분석
아닙니다. Ling-3.0 MCP-Atlas의 168.2 대 163.0분이 추가 3.1%입니다. 466.1 대 163.0은 조합 구성으로 분모가 다릅니다.
라벨은 있는데 캐시가 퇴거되면?
힌트
배치 힌트는 저장 상태가 아닙니다.
답과 분석
라우팅은 유지되나 prefill이 증가합니다. 실제 재사용과 신규 계산을 측정하고 허용된 문맥을 재구축합니다. 라벨만으로 오래되거나 다른 테넌트의 데이터를 허용하면 안 됩니다.
결제 전송 후 타임아웃이면 바로 재시도하나요?
힌트
용량 관리와 외부 부작용을 구분합니다.
답과 분석
맹목적으로 반복하면 안 됩니다. 불확실성을 기록하고 결제 시스템의 작업 ID와 대조하며 멱등 계약을 따릅니다. 세마포어 해제는 결제 취소가 아니며 중복 실행을 정당화하지 않습니다.
채점: 1—지표 설명, 2—큐·수용·실행 구분, 3—계산과 코드 실행, 4—공정한 비교와 악화 설명, 5—장애·테넌트 제약·배포 근거 설계. 읽은 시간이 아닌 역량으로 판단합니다.
예측, 검증, 근거 기록
답을 보기 전에 결과를 예측하세요. 연습 후 차이와 전이 테스트를 기록합니다. 로컬에 저장되며 언어판 간 공유됩니다.
학습 기록 열기 / 내보내기 / 지우기 →수학 검토 범위는 강의별로 기록합니다. 논문의 실증 재현 인증은 아닙니다. 의심되는 오류를 노트에 남겨 주세요. 검토 범위
참고 자료와 추가 학습
원 논문은 Ant Group Ling Team의 Wei Feng 외 저자들이 작성했으며 v1은 CC BY 4.0입니다. 수식·방식 설명·선택한 표는 출처를 밝힌 재구성입니다. 그림·계산·시뮬레이터는 Token Lab의 독자적 교육 자료입니다. 논문 구현 저장소는 이번 검토에서 확인하지 않았으며 교육 코드는 저자의 코드가 아닙니다.
- arXiv · abstract / v1https://arxiv.org/abs/2611.16661v1
- arXiv · PDF / v1https://arxiv.org/pdf/2611.16661v1
- arXiv · full HTML / v1https://arxiv.org/html/2611.16661v1
- CC BY 4.0https://creativecommons.org/licenses/by/4.0/
- SGLang · sourcehttps://github.com/sgl-project/sglang
- Stanford CS329Z · Engineering AI Agentshttps://cs329z.stanford.edu/