SDE를 위한 AI API 내부 원리: HTTP에서 token 생성까지
요청을 토큰화·prefill·decode·KV·스트리밍·도구까지 추적하며 장애 경계·예산·로컬 코드를 설명합니다.
출처 및 버전 정보
이 글의 목차
AI 호출은 분산 프로그램이다
Pending 배포를 진단하는 SRE 도우미를 예로 듭니다. 앱이 Kubernetes 스냅샷과 런북을 모아 모델에 증거를 보내고 진단을 표시합니다. 복구에는 별도 승인 실행기가 필요합니다. 앱부터 생성 텍스트까지 추적하는 참고 설계이며 공급자 내부 구조를 재현한 것이 아닙니다.
HTTP·TLS·인증·큐·타임아웃 같은 백엔드 지식이 전제입니다. 타임아웃은 한 참여자의 관측일 뿐입니다. token은 어휘 ID, 가중치는 학습된 매개변수, 추론은 조건부 분포 계산입니다. 훈련은 가중치를 바꾸지만 일반 추론은 바꾸지 않습니다.
전송 완료, 모델 응답 완료, 업무 검수 통과를 구분하세요. 근거 없는 유창한 진단은 앞의 둘만 충족할 수 있습니다. 언어·요약은 모델, 권한·정확한 계산·상태 전이·불변식은 결정론적 코드에 맡기세요.
모델 경계는 pθ(y₁…yₙ | x)를 다음 token 조건부 확률의 곱으로 계산합니다. θ는 고정 가중치, x는 실제 문맥입니다. 출력은 디코딩 결정이지 정본 DB 트랜잭션이 아닙니다. GPU 부족 판단에 snapshot ID·시각·정확한 이벤트를 붙이세요.
앱은 신원·대화·작업 상태, 엔진은 임시 KV, 실행기는 영속 결과를 소유합니다. KV 유실은 기록 삭제가 아니며 응답 유실은 작업 취소가 아닙니다. 상태 소유자에게 조회해 복구하세요.
SDK에서 요청 수락까지
SDK는 메시지를 직렬화하고 인증 HTTPS를 보내며 이벤트를 객체로 변환합니다. 보통 로컬에서 대형 모델을 돌리지 않습니다. 진입점·할당량·라우터·수락 제어·큐의 순서는 구현마다 다릅니다. 키는 백엔드에 둡니다.
논리 요청에 ID·기한·출력 제한·설정을 두고 네트워크 시도에는 별도 ID를 둡니다. 세마포어로 동시성을 제한하고 기한 내 불가능한 작업은 거절합니다. 요청 수와 token 수 제한은 다른 자원을 제약합니다.
대화 객체가 기록을 저장해도 Transformer는 해당 추론에 조립된 문맥을 읽습니다. 생략된 사실 기억이나 파일 자동 포함을 가정하지 마세요. 정본 대화·증거 버전·공개되는 모델 버전을 기록하세요.
연결 pool은 DNS/TCP/TLS 반복을 줄일 수 있습니다. HTTP/2 다중화도 큐·할당량을 없애지 않습니다. 연결·유휴·총기한을 나누고 단조 시계와 남은 예산을 hop마다 사용하세요.
SDK3회×worker3회면 최대9호출입니다. 재시도 책임을 통일하고 모두 계산하세요.20초 중8초 사용 시 대기까지12초만 남습니다. 동일 POST도 자동으로 안전하지 않습니다. [12]
| 계층 | 입력 → 출력 | 책임 |
|---|---|---|
| 앱 | 질문·증거 → 요청 | 신원·개인정보·예산 |
| 추론 | ID → 점수 → ID | 큐·메모리·생성 |
| 전송 | 바이트 → 완전 항목 | 경계·부분·취소 |
| 실행기 | 승인 동작 → 영수증 | 권한·멱등·감사 |
메시지에서 token·텐서로
템플릿이 역할 구분·특수 token을 넣고 tokenizer가 모델별 ID로 변환합니다. token은 단어·문자·패킷과 다릅니다. 실제 템플릿 입력을 세고 추가 지시·미디어 사용량도 고려하세요. [1]
교육용 decoder에서 ID [B,T]로 E [V,d]를 조회해 X [B,T,d]를 얻습니다. B는 배치, T는 길이, V는 어휘 수, d는 폭입니다. 웹 검색이 아니라 학습 벡터 조회입니다. 위치·주의·정규화·잔차·피드포워드 층이 이를 변환합니다.
이미지·음성은 Base64 문장을 읽는 것이 아니라 디코딩 후 패치·특징 등으로 변환됩니다. 약 4/3의 Base64 바이트 증가는 시각 token 요금 규칙이 아닙니다. 형식·크기·길이·용량을 별도로 검사하세요.
교육용 BPE에서 a,b,a,b에 우선 규칙(a,b)→ab를 적용하면[ab,ab]입니다. 다른 어휘는4ID일 수 있습니다. ID는 tokenizer 어휘·버전과 함께 의미가 있으며 보편 문자 코드가 아닙니다.
B2,T4,d8이면 출력64요소, V1000이면 표8000매개변수입니다. 행을 선택할 뿐입니다. 시작 기호 중복·assistant 기호 누락은 같은 표시 문장도 다른 입력으로 만듭니다. padding도 마스킹하세요.
Prefill: 생성 전에 입력 처리
인과적 주의의 Q,K,V는 [T,d_h], QKᵀ는 [T,T]입니다. 미래를 마스킹하고 독립 성분 근사에서 √d_h로 분산 증가를 제어합니다. key 방향 softmax와 V 곱은 [T,d_h]입니다. 여러 head를 연결·투영합니다. [2]
알려진 프롬프트 위치는 층 안에서 병렬 처리하되 인과 마스크를 유지합니다. 마지막 위치가 첫 생성 token의 logit을 만듭니다. 밀집 주의 연산은 T의 제곱으로 늘며 투영·MLP 비용도 있습니다. 행렬 저장 회피가 제곱 연산 전부 제거를 뜻하지는 않습니다.
10만 줄 대신 시간 구간·스케줄러 이벤트·인용된 런북을 고르세요. 검색은 실제 문맥 한도를 늘리지 않습니다. 합성 예에서16,000−지시2,000−대화4,000−출력2,000은 증거8,000입니다.
투영은 대략T d², 주의 곱은T² d이며 MLP 중간 폭도 중요합니다. 제곱 복잡도만으로 지연을 설명하지 못합니다. tiling은 온칩 재사용, 융합은 중간 쓰기를 줄입니다. 형상·정밀도·장비·batch에 달립니다.
Decode·샘플링·KV 캐시
Decode는 다음 token 분포 계산·선택·추가를 반복합니다. KV 캐시는 과거 key/value를 유지해 새 token의 Q/K/V만 계산하고 과거를 참조합니다. 사실 DB가 아닌 수치 실행 상태입니다. [3]
전체 주의 캐시는 약2 L B T H_kv d_h s 바이트입니다.32층,1시퀀스,8192위치,KV8head,차원128,2바이트이면1 GiB입니다. 가중치·활성·관리 비용은 별도입니다. 가변 길이는 위치를 합산하며 창·압축은 식을 바꿉니다.
logit은 비정규화 점수입니다. temperature는 softmax 전 척도를, top-p는 후보 집합을 조절합니다. 진실 조절기가 아닙니다. [2,1,0],온도1은 약[0.6652,0.2447,0.0900]입니다. greedy도 정확성·장비 간 재현성을 보장하지 않습니다.
step t에서q[1,d_h],K/V[t,d_h],score[1,t]입니다. 과거 key 재계산은 생략해도 이력 읽기는 남습니다. cache가 역사 의존을 모두 제거하지 않습니다. [13]
16token 블록이면 위치35는 논리2·offset3, 표[7,2,9]이면 물리9입니다. 고정 kernel 배치가 아닌 예입니다. 공유 prefix는 참조 관리·쓰기 보호·tenant 격리가 필요합니다.
GPU 스케줄링과 지연
가중치 읽기 비용을 분산하려고 배치 처리합니다. 연속 배치는 반복 사이에 시퀀스를 넣고 뺍니다. 긴 입력·출력과 도착 변동이 연산·KV 용량을 경쟁합니다. 총 tokens/s 증가와 사용자 지연 악화는 공존합니다.
PagedAttention은 논리 KV를 물리 블록에 매핑해 단편화를 줄입니다. prefix cache는 호환되는 입력 상태를 재사용하지만 새 응답의 decode는 남습니다. 응답 캐시가 아니며 키·퇴거·격리·호환성이 중요합니다. [4] [5]
작은 배치는 가중치·KV 대역폭, 큰 배치는 연산이 병목일 수 있습니다. tensor 병렬은 통신을, prefill/decode 분리는 KV 전송을 추가합니다. 양자화는 품질·kernel 절충이며 추측 decode는 수락률·검증 비용에 달립니다.
하한은max(FLOPs/실효 연산률,바이트/실효 대역폭)입니다.80억 가중치×2바이트=16GB를1TB/s로 읽기만 해도16ms입니다. 합성 하한이며 재사용·분할이 전송량을 바꿉니다.
반복마다 token/KV 할당·kernel 실행·ID 수집·완료 처리를 합니다. 큰 prefill은 decode를 늦추며 분할은 절충이 있습니다. 확장에는 대기·활성 token·지연·가중치 로드 시간을 고려해야 합니다.
스트리밍은 바이트 위의 프로토콜
TCP 읽기·HTTP chunk·SSE 이벤트·JSON delta·token·표시 문자는 경계가 다릅니다. UTF-8 중간에서 끊길 수 있으므로 증분 디코딩과 불완전 이벤트 버퍼링이 필요합니다. EventSource는 임의 인증 POST를 대체하지 않습니다. [6]
대기→수신→완료·실패·취소 상태 머신을 쓰세요. HTTP200 이후 오류나 완료 표시 없는 종료도 가능합니다. 부분 텍스트를 성공으로 바꾸지 마세요. 분할 JSON 도구 인자는 항목 완료·파싱·승인 전 실행하지 않습니다. [7]
프록시 버퍼가 스트리밍을 숨길 수 있습니다. 느린 소비자에는 역압이나 제한 버퍼가 필요합니다. 연결 종료만으로 계산·요금 중단을 보장하지 못합니다. 취소 전파·바이트 상한·유휴 시간·총 기한을 구분하세요.
UTF-8 일부·부분 행·이벤트 data의3단 버퍼입니다. 분할 CRLF도1개행, 빈 행에서 dispatch, 여러 data를 개행 결합 후 JSON 파싱합니다. delta는 item ID별로 누적하세요.
TCP는 앱 내부 무한 list를 제한하지 못합니다. 큐 바이트·총응답·느린 소비자 정책을 정하세요. 교육 parser는 이벤트 상한만 있으며 운영에는 총량·수명 제한도 필요합니다.
도구 호출과 에이전트 루프
클라이언트 도구에서는 모델이 이름·인자를 제안하고 호스트가 검증·실행한 뒤 결과를 돌려줍니다. 공급자 도구는 경계가 다릅니다. “재시작했다”는 말 대신 실행 영수증·리비전·감사를 연결하세요. [8]
read_snapshot·search_runbook은 tenant 범위의 허용 읽기입니다. restart_deployment는 별도 권한·승인이 필요합니다. 런북은 데이터이지 권한이 아닙니다. schema는 형식만 보장합니다. 미지 도구를 생성 shell로 대체하지 마세요.
라운드·도구 수·시간·비용을 제한하세요. 쓰기 timeout 뒤에는 영속 상태 조회 후 재시도합니다. 멱등성에는 fingerprint·충돌 탐지가 필요합니다. HTTP retry는 Kubernetes 변경의 exactly-once를 보장하지 않습니다.
제안·검증·승인·실행·성공/실패/미상의 상태를 씁니다. 신원·namespace·대상·행위·리비전을 승인에 묶고 쓰기 직전 재확인합니다. 바뀐 대상에 옛 승인을 재사용하지 마세요.
부작용 전 의도를 저장해도 Kubernetes와 원자 트랜잭션은 아닙니다. 변경·영수증 사이에 장애가 납니다. 외부 조회·중복 식별이 필요하며 outbox만으로 원격 exactly-once를 보장하지 못합니다.
지연·비용·장애 책임 분리
TTFT·token 간격·총시간·업무 성공률을 분리하세요. TTFT는 연결·큐·prefill·전송을 포함합니다. 일정 Δ의 N token이면 TTFT+(N−1)Δ입니다. 합성 예0.6초+100×0.02초=2.6초입니다.
가상 단가 입력/출력100만 token당$2/$8이면 입력2,000·출력500은$0.008이며 도구·재시도는 별도입니다. 실제 가격이 아닙니다. 실패도 포함한 총비용을 검수 통과 작업 수로 나누세요.
429는 지침과 제한된 지수 backoff·jitter를 따릅니다. schema 오류는 수정하고5xx는 기한·예산 내만 재시도합니다. ID·모델·사용량·시간·종료 이유·비식별 영수증을 기록하고 원문·키는 기본 저장하지 마세요.
안정 상태
task→시도→작업을 trace로 만드세요. 내부 큐가 안 보이면 client TTFT로 명시합니다. 길이·모델·cache 조건별 분위수를 비교하고 짧은 답·거절 증가를 개선으로 혼동하지 마세요.
설명 범위와 한계
대상은 자기회귀 텍스트 생성입니다. embedding은 벡터, reranker는 관련도이며 확산·음성은 다른 실행 방식을 쓸 수 있습니다. API 호환이 tokenizer·도구·격리·종료 의미의 일치를 뜻하지는 않습니다.
전선은 공정 혼합 처리·KV 이동/압축·추측 검증·저정밀 품질 유지입니다. 장기 신뢰성·증거 신선도·주입 방어·모델 변경 시 재현 평가가 남습니다. 저렴한 token이 권한 문제를 해결하지 않습니다.
관리 API는 운영을 위임하지만 내부를 숨깁니다. 자체 호스팅은 조정권과 용량·패치·보안 책임을 줍니다. 데이터·부하·운영력·검수 비용으로 선택하고 adapter에서 거절·미완료 의미를 지우지 마세요.
목표는 상태 소유자·가설 구분 측정·안전 재실행을 식별하는 진단입니다. 증거 부족은 불확실로 남기세요. 마지막 작은 불변식만으로 운영 신뢰성을 증명할 수 없습니다.
실습과 검증
로컬 실습 실행
Python3.11+에서 python3 lab.py를 실행합니다. 표준 라이브러리만 쓰며 난수는 없습니다. 모델·운영 SSE 라이브러리가 아닌 통신·산술 실습입니다. 모든 바이트 분할 폭·3종 개행·잘림·오류를 검사합니다. 이벤트 이름은 자체 규격입니다.
Python 실습 다운로드"""Original teaching protocol, not a provider SDK. Python 3.11+, stdlib only.
No network, keys, GPU, or randomness. Feed arbitrary byte fragments.
Supports LF, CRLF and CR lines, UTF-8 BOM, comments and multiline data.
Does not implement EventSource reconnect, retry or Last-Event-ID semantics.
"""
import codecs
import json
import math
class Stream:
def __init__(self, max_event=65536):
self.decoder = codecs.getincrementaldecoder('utf-8-sig')('strict')
self.line = ''
self.data = []
self.event = ''
self.cr = False
self.size = 0
self.max_event = max_event
self.text = ''
self.state = 'waiting'
def feed(self, chunk):
self.consume(self.decoder.decode(chunk))
def consume(self, text):
for c in text:
if c == '\n' and self.cr:
self.cr = False
continue
self.cr = False
if c in '\r\n':
self.on_line(self.line)
self.line = ''
self.cr = c == '\r'
else:
self.line += c
if len(self.line.encode('utf-8')) > self.max_event:
raise ValueError('line too large')
def on_line(self, line):
if not line:
self.dispatch()
self.data, self.event, self.size = [], '', 0
return
if line.startswith(':'):
return
field, _, value = line.partition(':')
if value.startswith(' '):
value = value[1:]
if field == 'event':
self.event = value
elif field == 'data':
self.size += len(value.encode('utf-8')) + 1
if self.size > self.max_event:
raise ValueError('event too large')
self.data.append(value)
def dispatch(self):
if not self.data:
return
if self.state in {'completed', 'failed'}:
raise ValueError('data after terminal state')
payload = json.loads('\n'.join(self.data))
if not isinstance(payload, dict):
raise ValueError('payload must be object')
if self.event == 'delta':
if not isinstance(payload.get('text'), str):
raise ValueError('delta.text must be string')
self.text += payload['text']
self.state = 'streaming'
elif self.event == 'done':
if payload.get('reason') != 'stop':
raise ValueError('not an accepted completion')
self.state = 'completed'
elif self.event == 'error':
self.state = 'failed'
else:
raise ValueError('unknown teaching event')
def finish(self):
self.consume(self.decoder.decode(b'', final=True))
if self.line or self.data or self.event:
raise ValueError('unfinished event')
if self.state != 'completed':
raise ValueError('no successful completion')
return self.text
def softmax(logits):
if not logits or not all(math.isfinite(x) for x in logits):
raise ValueError('finite nonempty logits required')
m = max(logits)
values = [math.exp(x - m) for x in logits]
return [v / sum(values) for v in values]
def decode(raw, width):
s = Stream()
for start in range(0, len(raw), width):
s.feed(raw[start:start+width])
return s.finish()
def must_fail(raw):
try:
decode(raw, 1)
except (ValueError, UnicodeDecodeError):
return
raise AssertionError('invalid stream accepted')
if __name__ == '__main__':
text = 'Pending:GPU 不足'
wire = (': heartbeat\n\nevent: delta\ndata: ' +
json.dumps({'text': text}, ensure_ascii=False) +
'\n\nevent: done\ndata: {"reason":"stop"}\n\n')
raw = wire.encode()
for newline in ['\n', '\r\n', '\r']:
variant = b'\xef\xbb\xbf' + wire.replace('\n', newline).encode()
for width in range(1, len(variant)+1):
assert decode(variant, width) == text
must_fail(raw.split(b'event: done')[0])
must_fail(raw[:-1])
must_fail(b'event: error\ndata: {"error":"overloaded"}\n\n')
must_fail(b'event: delta\ndata: {bad}\n\n')
must_fail(b'event: delta\ndata: {"text":3}\n\n')
must_fail(b'\xff')
must_fail(raw + b'event: delta\ndata: {"text":"late"}\n\n')
try:
Stream(max_event=4).feed(b'data: oversized')
except ValueError:
pass
else:
raise AssertionError('size limit failed')
p = softmax([2,1,0])
assert abs(sum(p)-1) < 1e-12
assert all(abs(a-b)<1e-12 for a,b in zip(p,softmax([1002,1001,1000])))
kv = 2*32*1*8192*8*128*2
assert kv == 1024**3
cost = (2000*2+500*8)/1e6
assert abs(cost-0.008) < 1e-12
print(text)
print('softmax:', ', '.join(f'{x:.4f}' for x in p))
print(f'KV: {kv/1024**3:.1f} GiB; hypothetical cost: ${cost:.3f}')
print('PASS: byte fragmentation, newline variants, truncation, errors, bounds and arithmetic')
python3 lab.py
# Pending:GPU 不足
# softmax: 0.6652, 0.2447, 0.0900
# KV: 1.0 GiB; hypothetical cost: $0.008
# PASS: byte fragmentation, newline variants, truncation, errors, bounds and arithmetic바이트를 고정하고 분할만 바꿉니다. 읽기마다 JSON 파싱하면 모델 변경 없이도 실패합니다. logit 전체 상수 추가 시 softmax 불변, done 제거 시 성공 불가를 확인합니다. 사실 품질 평가는 아닙니다.
자체 모의 면접·채점
1. HTTP200 뒤에도 실패하는 이유는?
힌트:3계약. 수락·응답 완료·업무 검수를 나누고 종료·증거를 검사하세요.
2. 문맥 증가가 용량을 줄이는 이유는?
힌트:KV·prefill. 요청별 메모리와 가중치·활성을 고려하세요. T2배는 단순 KV2배이지 총지연2배는 아닙니다.
3. 재시작 timeout 뒤 바로 재시도해도 되는가?
힌트:불확실한 부작용. 원장·fingerprint·리비전을 조회하고 기록은 재생, 충돌은 거부하세요. 재변경 전 대조합니다.
4. prefix cache가 decode 비용을 없애는가?
힌트:KV 상태·prefix prefill 재사용·답변 재사용을 구분하세요. 마지막만 생성을 피하며 tenant·신선도·호환성 검사가 필요합니다.
1–5점: 구성요소, 계약, 메커니즘, 반례·실패, 한계를 밝힌 공정·관측 가능한 검증. 실제 기업 기출이 아닙니다.
참고 자료·다음 튜토리얼
- Chat templates — Hugging Face Transformers (main documentation, checked 2026-11-11)https://huggingface.co/docs/transformers/main/en/chat_templating
- Attention Is All You Need — Vaswani et al., first submitted 2017-06-12; arXiv v7 2023-08-02https://arxiv.org/abs/1706.03762v7
- KV cache strategies — Hugging Face Transformers (main documentation)https://huggingface.co/docs/transformers/main/en/kv_cache
- PagedAttention — Kwon et al., arXiv v1 2023-09-12https://arxiv.org/abs/2309.06180v1
- Automatic prefix caching — vLLM documentationhttps://docs.vllm.ai/en/latest/features/automatic_prefix_caching/
- Server-sent events — WHATWG HTML standardhttps://html.spec.whatwg.org/multipage/server-sent-events.html
- Streaming messages — Claude Platform documentationhttps://platform.claude.com/docs/en/build-with-claude/streaming
- Building effective agents — Anthropic, 2024-12-19https://www.anthropic.com/research/building-effective-agents
- Attention Is All You Need — PDF v7https://arxiv.org/pdf/1706.03762v7
- PagedAttention — PDF v1https://arxiv.org/pdf/2309.06180v1
- vLLM — source codehttps://github.com/vllm-project/vllm
- HTTP Semantics — RFC 9110, June 2022https://www.rfc-editor.org/rfc/rfc9110.html
- Caching — Hugging Face Transformers (main documentation)https://huggingface.co/docs/transformers/main/en/cache_explanation