AI infrastructure in 2026: from fast chips to useful, reliable capacity
Follow a request through admission, prefill, KV memory, decoding, tools and recovery; connect capacity and cost to frontier hardware and market evidence.
출처 및 버전 정보
Contents · lifecycle and reference chapters
이 글의 목차
인프라: 요청 경로 따라가기
이 사례는 청구서 도우미를 따라갑니다. 테넌트 범위의 문서를 읽고 결제를 제안하지만 실행에는 별도의 정확한 권한이 필요합니다. 시나리오와 실험은 합성 교육 자료이며 실제 배포 사례가 아닙니다.
요청 하나로 이해하는 청구서 에이전트 인프라
직원이 INV-42 지연 이유와 조건에 맞는 다음 지급 준비를 요청합니다. 도우미는 테넌트 문서와 상태를 읽고 설명·제안하며 실행에는 별도의 정확한 승인이 필요합니다. 특정 회사 구현이 아닌 합성 교육 시스템입니다. 인프라는 유창한 문장보다 영속 업무 흐름을 지원해야 합니다.
요청은 인증 게이트, 워크플로, 검색 저장소, 추론, 도구 게이트, 업무 시스템을 통과합니다. 읽기는 보통 재시도할 수 있지만 지급 전송 시간초과는 결과 대사가 먼저입니다. 모델 프로세스가 거래 진실을 소유하지 않도록 영속 상태에 미완료 단계, 근거, 커밋 여부를 기록합니다.
하드웨어 전에 도착률·급증, 입출력 토큰 분포, 작업당 호출, 검색 팬아웃, 도구 지연, 기한을 정합니다. 대화와 백그라운드 대사를 분리합니다. 초당10개라도200토큰 답과8번의 긴 호출은 다릅니다. 비결정적 추론을 반복하지 않고 복구할 상태를 정하며 대화 기록 자체를 체크포인트로 보지 않습니다.
단계1: 입장 제어, 문맥 구성, 자원 예산
게이트는 큐에 넣기 전에 인증하고 테넌트를 결정합니다. 속도 제한은 공유 서비스를 보호하며 입장 제어는 기한 충족 가능성을 판단합니다. 무한 큐에서 쓸모없이 늦게 답하기보다 일찍 거부하거나 연기할 수 있습니다.
지시, 도구 schema, 근거, 이력, 최대 출력 예산을 확보합니다. 문맥 창은 채울 목표가 아닌 상한입니다. 관련 있고 허용된 자료만 선택하며 잘라내도 정책과 출처를 보존합니다. 문서를 더 넣으려고 승인 조건을 제거하면 안 됩니다.
입장은 추정 토큰, 정산은 실제 사용량을 사용합니다. 요청 수 외에 테넌트 동시성과 점유량을 제한합니다. 소수의 거대한 입력도 메모리를 독점합니다. 취소를 검색과 추론에 전파합니다. 활성24개, 큐48개, 대기2초는 합성 경계 예시이지 기본값 권고가 아닙니다. 평균 지연뿐 아니라 다른 테넌트의 진행도 보호해야 합니다.
단계2: Prefill, decode, KV 메모리와 스케줄링
검색 뒤에는 프롬프트를 처리한 다음 토큰을 생성합니다. 긴 입력은 첫 토큰을 지연시키고 긴 출력은 이후에도 decode 용량을 점유합니다. 첫 토큰, 토큰 사이, 마지막 토큰, 전체 업무 완료 지연을 각각 정의합니다.
일반 KV 메모리는 2×레이어×KV 헤드×헤드 차원×토큰×원소 바이트를 상주 시퀀스에 합산합니다. 32레이어, KV 헤드8, 차원128, 8192토큰, 2바이트면 시퀀스 하나에 1 GiB, 16개에 16 GiB입니다. 가중치, 활성, 단편화, 기타 상태는 별도입니다. GQA에서 쿼리 헤드 수로 대체하면 안 됩니다.
배치는 실행을 공유하지만 배치 대기가 지연을 늘립니다. 완료 시점이 달라 활성 시퀀스와 메모리를 동적으로 관리해야 합니다. 긴 prefill 분할은 decode 응답을 보호할 수 있지만 커널, 하드웨어, 트래픽에 달려 있습니다. 균일 배치를 실제 혼합 부하로 일반화하면 안 됩니다.
vLLM 프리픽스 캐싱https://docs.vllm.ai/en/stable/features/automatic_prefix_caching/은 공통 접두사의 계산을 재사용합니다. 반복 prefill을 줄일 뿐 새 출력 생성은 필요합니다. 콜드·웜 트래픽과 격리 조건을 구분해야 합니다.
용량 구매 전에 병목을 구분합니다. Prefill은 입력 전체에 주의 및 피드포워드 계산을 수행하고 decode는 가중치와 캐시를 반복해 읽으며 시퀀스당 적은 새 토큰을 만듭니다. 병목은 배치, 문맥, 커널, 하드웨어에 따라 다릅니다. 텐서 병렬은 핵심 경로에 통신을 추가하고 파이프라인 병렬은 단계 공백을 숨길 작업량이 필요합니다. 복제는 모델이 들어가고 트래픽을 분배할 수 있을 때 용량을 늘립니다.
Prefill과 decode를 분리하면 KV 전송이 필요합니다. 1 GiB 캐시를 이상적인 25 GiB/s 링크로 옮겨도 바이트 전송만 최소 40 ms이며 프로토콜, 경합, 인계 비용이 추가됩니다. 측정값이 아닌 산술 하한입니다. 전송과 유휴 용량 비용이 줄어든 간섭보다 크면 분리는 불리합니다. 양자화도 호환 커널이 필요하며 낮은 비트 수만으로 속도나 품질을 보장할 수 없습니다.
단계3: 라우팅과 대체 경로는 시스템 행동을 바꾼다
간단한 조회는 저렴한 모델, 분쟁은 강한 모델로 보낼 수 있지만 라우터도 틀립니다. 어려운 문제를 단순하게 보거나 전부 비싼 경로로 보낼 수 있습니다. 결정, 모델·프롬프트 버전, 예산을 기록해 회귀 원인을 찾습니다.
장애 대체 모델은 도구 문법, 문맥, 지시 준수, 거부가 다를 수 있습니다. 어댑터는 문법을 맞출 뿐 업무 동등성을 보장하지 않습니다. 활성화 전 행동 근거가 필요하며 같은 권한·승인 경계를 유지합니다.
회로 차단은 고장 의존성 반복을, 백오프와 예산은 부하 증폭을 줄이지만 부작용 발생 여부는 증명하지 않습니다. 추론 재시도와 업무 재시도를 분리합니다. 새 제안이 재지급 허가는 아닙니다. 체크포인트는 문장보다 논리 작업과 상태를 보존합니다. 주 경로, 대체, 안전한 보류의 의미·비용·실패 조건을 비교해야 하며 가용률만으로 선택하지 않습니다.
단계4: 큐, 비용, 유효 작업을 잇는 용량 계획
용량 계획은 부하 증가에 따른 합격 처리량과 지연의 서비스 곡선에서 시작합니다. 포화 근처에는 평균 GPU 사용률이 정상처럼 보여도 큐 지연이 급증할 수 있습니다. 더 많은 토큰과 더 적은 기한 내 완료가 동시에 생기므로 품질과 지연 조건을 정합니다.
안정 시스템의 Little 법칙은 평균 진행 작업 수를 도착률과 평균 체류 시간에 연결합니다. 초당8개, 평균3초면24개입니다. 안정 가정의 회계 관계이지24개 슬롯이 p99를 보장한다는 뜻은 아닙니다. 급증, 처리시간 분산, 상관 장애도 중요합니다.
합성 예시에서1000개 요청에20 USD, 합격800개면 요청당0.02 USD와 합격당0.025 USD입니다. 저렴한 경로가16 USD여도 합격500개면 후자는0.032 USD로 악화합니다. 예약 용량, 유휴, 저장, 네트워크, 사람 검토 비용도 분리해 총비용에 넣습니다.
하나의 작업은 한 번의 모델 호출이 아닙니다. 초당 10개 작업이 평균 3회 호출하면 재시도 전부터 30회/초입니다. 각 호출의 10%가 독립적으로 추가 한 번을 필요로 하면 33회/초입니다. 이는 합성 단일 재시도 모델이며 상관 장애나 재귀 루프에는 맞지 않습니다. 작업별 및 전체 재시도 예산을 제한해야 합니다.
자동 확장은 시작 시간과 상태를 고려해야 합니다. 가중치 로딩이 수분 걸리면 수초의 급증은 기존 여유, 큐, 거부로 처리해야 합니다. 뒤늦게 준비되는 복제본은 도움이 되지 않습니다. GPU 사용률뿐 아니라 큐 대기 시간, 활성 토큰, 측정된 용량을 활용합니다. 품질과 테넌트 공정성을 유지하며 기한 내 완료를 늘려야 용량 증가가 유효합니다.
단계5: 배포, 복구, 설명 가능한 운영
릴리스는 가중치뿐 아니라 tokenizer, 프롬프트, schema, 인덱스, 양자화, 엔진, 라우팅을 포함합니다. 버전과 호환성을 관리합니다. 사고 재현에는 모델 이름 외에 과거 문서와 도구 응답이 필요할 수 있습니다.
오프라인 검증 뒤 부작용 없는 shadow, 제한된 실제 canary로 진행합니다. 트래픽은 변하므로 동시 기준과 비교합니다. 롤백은 흐름·schema 호환성을 복구하지만 이미 커밋된 지급을 취소하지 않습니다. 되돌릴 수 없는 작업 실험에는 명시적 승인과 보상 정책이 필요합니다.
워크플로 기록과 캐시는 복구시간·허용 손실 목표를 분리합니다. KV 재계산 비용과 승인 근거나 커밋 상태 손실은 다른 문제입니다. 복구 뒤에도 취소, 권한 철회, 멱등성을 보존합니다. 부하 모델, 측정 용량, 의존성 복구 계획, 작업 성과와 연결된 배포 보고서를 남깁니다. 하드웨어·플랫폼은 실제 병목과 총위험·비용을 기준으로 판단합니다.
How the four disciplines fit together
Security determines which actions are permitted. Infrastructure executes work within capacity and failure constraints. Observability preserves evidence of what happened. Evaluation tests whether a change improves the outcome under a declared contract. None substitutes for the others.
메커니즘, 연구, 시장 배경 — 아래 참고 자료는 영어입니다
The following chapters provide the mathematical examples, experiments, research papers and dated company evidence behind the operational story. Return to the lifecycle when deciding where each mechanism belongs.
1. The unit of progress is a completed workload
An AI infrastructure stack turns electricity, silicon, software and operational labor into training runs or useful responses. A faster accelerator is only one input. A customer experiences the time to a correct answer; an operator pays for reserved capacity, idle time, retries and failures as well as successful computation. The important question is therefore not “which chip has the largest number?” but “what bottleneck prevents this workload from meeting its service objective?”
Definitions. An accelerator is a processor optimized for selected computations. HBM is high-bandwidth memory close to the accelerator; it is not interchangeable with host RAM or remote storage. Scale-up interconnects connect processors within a tightly coupled system; scale-out networking joins systems. A service-level objective (SLO) specifies a measurable target such as a latency percentile. Goodput is the rate of useful completions satisfying specified constraints, rather than every generated token or attempted request.
Before this lesson: understand that matrix multiplication creates reusable parallel work, while autoregressive generation has a dependency between output steps. Understand a byte, a second and a watt: power measures a rate of energy use, and capacity in GiB says nothing by itself about transfer rate. Finally, distinguish average latency from a tail percentile. An average can improve while the slowest users experience worse service. Review attention and KV-cache correctness if those distinctions are unfamiliar.
Learning goals: draw the system boundary; calculate a cache budget with units; identify a misleading benchmark comparison; explain why an acquisition adds an engineering capability; and design a repeatable serving experiment. The company map below is selective, not a complete procurement recommendation or a claim that every listed product is available in every region.
2. Read the stack from the workload down
Start at the application. A short autocomplete request, a long-document question and an agent executing twenty tool steps have different prompt lengths, output lengths and interruption patterns. A speech assistant needs predictable delay; an overnight research job may accept queuing. One aggregate “tokens per second” metric conceals these differences. Record the request distribution before choosing a runtime or hardware platform.
The serving runtime schedules requests and manages state. Continuous batching can admit new work as other requests finish, but mixing a large prompt with latency-sensitive decoding can create interference. Cache allocation determines how many active sequences fit. Parallelism then distributes weights and work across processors. If a model requires frequent collectives or expert routing, communication may erase the benefit of additional compute.
The rack supplies the physical constraints: memory channels, interconnect topology, cooling and electrical delivery. A training job also needs dataset throughput and durable checkpoints. A data pipeline can starve expensive processors; a recovery procedure can waste a large fraction of a run even when individual kernels are fast. Capacity planning must include failed jobs and reloading weights, not just the steady state.
Our engineering interpretation is that differentiation increasingly comes from coordinating these layers. An efficient kernel does not repair a slow scheduler; a faster network does not fix an inaccurate low-precision model; an available GPU does not imply an energized rack. This is why infrastructure is both a distributed-systems problem and an industrial deployment problem.
산업 구도: 제어 지점, 구매자, 경쟁
산업 근거 확인일: 2026년 11월 8일. 제품 문서는 기능 제공을 나타내며 독립 측정 효과를 입증하지 않습니다. 경쟁 구도와 기회는 Token Lab의 분석입니다. 합성 예제는 기업의 실측 결과가 아닙니다.
AI 인프라: 누가 용량·워크플로·책임을 통제하는가
2026년 11월 8일에 확인한 산업 분석입니다. 공식 자료로 제품 범위와 거래 단계를 확인했으며 경쟁 결론은 자체 해석입니다. 시장 점유율 순위나 독립 성능 시험이 아닙니다. 날짜 없는 제품 페이지는 검토일에 확인했고 날짜 있는 자료는 공개·수정일을 표시합니다.
시장을 책임의 연결로 이해하기
기업 비서를 저장 문서에서 작업 완료까지 따라가 봅니다. 데이터 플랫폼은 허가된 근거를, GPU 클라우드는 용량을 제공하고 추론 운영자가 응답을 만들며 애플리케이션이 허용 행동을 결정합니다. 각 계층은 다른 병목을 해결합니다. 모두를 대체 가능한 AI 클라우드로 보면 구매자, 이익 구조, 보안 책임을 놓칩니다. 아래 경쟁 평가는 시장 점유율 실측이나 투자 조언이 아닌 분석입니다. 사설 엔드포인트가 통신을 보호해도 과도한 권한을 가진 앱은 다른 테넌트 기록을 유출할 수 있습니다.
참조 아키텍처: 지연·메모리 제약의 추론 서비스
비용을 드러내기 위해 프리필/디코드 분리를 선택한 그림이며 모든 배포에 필수는 아닙니다. 진입 단계는 큐에 넣기 전에 토큰과 동시성 예산을 예약합니다. 입력 처리 후 KV 상태를 호환되는 디코드 워커로 전송합니다. 레지스트리는 고정 버전 모델을 제공합니다. 두 풀은 지표를 내보내며 취소와 기한은 예약 해제를 위해 워커까지 전달돼야 합니다.
전문화 이익이 직렬화, 네트워크와 조정 비용을 넘어야 합니다. 통합형은 전송이 없어 작은 부하에 유리할 수 있습니다. 접두사 공유는 모델, 캐시 형식과 격리 경계를 맞춰야 합니다. 큐 길이와 대기 시간을 제한합니다. 증설이 포화를 즉시 없애지는 못합니다. 대기, 첫 토큰, 생성 간격과 KV 최대 점유를 따로 관측합니다.
기업과 제품의 위치
선별한 산업 지도이며 시장 점유율 순위나 인증이 아닙니다. 범위는 제품 버전, 통합, 배포 및 집행 모드에 따라 달라집니다.
NVIDIA
- 소유 / 조직
- NVIDIA
- 제어 지점
- 가속기·연결망·오케스트레이션
NVIDIA는 GPU를 유용한 서비스로 바꾸는 데 필요한 상호 보완적 하드웨어와 소프트웨어를 플랫폼 팀에 제공합니다. Dynamo는 분산 추론, Run:ai는 작업 배분을 다룹니다. 2026년 10월 13일에는 모듈 네 개를 포함한 전체 Run:ai 플랫폼을 오픈소스로 공개했습니다. 분석상 범용 스케줄링 기능은 가격 압력을 받지만 통합과 운영 지원에는 가치가 남습니다. 자원 할당량과 GPU 공유가 애플리케이션 권한이나 강한 테넌트 격리를 보장하지는 않습니다.
NVIDIA: full Run:ai platform open-source release ↗https://developer.nvidia.com/blog/nvidia-runai-is-now-open-source-as-part-of-nvidia-dsx-ai-factory-platform · NVIDIA Dynamo ↗https://www.nvidia.com/en-us/ai/dynamo/
AWS
- 소유 / 조직
- Amazon
- 제어 지점
- 클라우드·관리형 모델 API
AWS는 자사 ID·과금·운영 체계를 이미 사용하는 기업에 강점이 있습니다. Bedrock은 관리형 모델 접근과 IAM을 결합하며 속도뿐 아니라 구매와 통합도 경쟁력입니다. 보안은 공동 책임 모델을 따릅니다. 고객은 자격 증명, 데이터, 후속 도구의 권한을 제한해야 합니다. 모델 호출 권한이 모델이 제안하는 모든 행동의 실행 권한을 의미하지는 않습니다. 클라우드 브랜드 대신 구체적인 배포 구성의 통제를 평가해야 합니다.
Amazon Bedrock: data protection and shared responsibility ↗https://docs.aws.amazon.com/bedrock/latest/userguide/data-protection.html · Amazon Bedrock: invocation permissions ↗https://docs.aws.amazon.com/bedrock/latest/userguide/inference.html
Microsoft Foundry
- 소유 / 조직
- Microsoft
- 제어 지점
- 기업 AI 제어 영역
Microsoft는 모델, 에이전트 개발, 연결된 Azure 자원을 기업 관리 구조로 묶습니다. 구매자가 이미 Entra와 Azure 사용 약정을 가진 경우가 많아 구매와 거버넌스 통합이 중요합니다. Foundry는 자원·프로젝트 역할, 관리형 ID, 사설 네트워크를 제공합니다. 노출을 줄이지만 모든 의존 서비스를 자동으로 격리하지는 않습니다. AI 게이트웨이와 데이터 서비스도 별도 설정이 필요하며 민감한 작업의 승인과 실제 결과 대조는 애플리케이션 팀의 책임입니다.
Microsoft Foundry architecture ↗https://learn.microsoft.com/en-us/azure/foundry/concepts/architecture · Microsoft Foundry network isolation ↗https://learn.microsoft.com/en-us/azure/foundry/how-to/configure-private-link
Google Cloud
- 소유 / 조직
- Alphabet
- 제어 지점
- AI·데이터·클라우드 거버넌스
Google Cloud는 기업 데이터와 관리형 AI 워크플로가 만나는 지점에서 경쟁합니다. ID, 서비스 경계, 암호화·키 통제를 결합하지만 서비스별 지원 범위가 다릅니다. 데이터 위치 조건은 일부 그라운딩과 RAG 기능을 구분합니다. 분석상 기존 데이터와의 통합은 모델 목록보다 강한 경쟁 기반이 될 수 있습니다. 한 서비스의 승인을 모든 연결 기능의 적합성으로 확대하지 말고 처리 경로와 기능을 각각 검토해야 합니다.
Google Cloud service-specific data residency ↗https://cloud.google.com/terms/data-residency · Google Cloud: securely deploying AI ↗https://cloud.google.com/blog/products/identity-security/mastering-secure-ai-on-google-cloud-a-practical-guide-for-enterprises/
CoreWeave
- 소유 / 조직
- CoreWeave
- 제어 지점
- GPU 클라우드·개발 워크플로
CoreWeave는 전문 GPU 용량을 공급하면서 Weights & Biases와 OpenPipe로 소프트웨어 영역을 확장합니다. 고객은 안정적인 용량 제공과 개발에서 학습·서빙으로 가는 짧은 경로를 구매합니다. 실험과 사후 학습 워크플로를 보유하면 유지율과 계산 수요를 높일 수 있지만 자본 집약성과 집중 위험을 없애지는 못합니다. 인프라 통제와 애플리케이션 권한은 별개입니다. 인수 완료는 소유권을 증명할 뿐 통합 성공이나 모델 품질·안전을 증명하지 않습니다.
CoreWeave completes Weights & Biases acquisition ↗https://www.coreweave.com/blog/coreweave-completes-acquisition-of-weights-biases · CoreWeave 2025 Form 10-K ↗https://www.sec.gov/Archives/edgar/data/1769628/000176962826000104/crwv-20251231.htm
Nebius
- 소유 / 조직
- Nebius Group
- 제어 지점
- GPU 용량·프로덕션 클라우드
Nebius는 대규모 전용 용량 공급, 관리형 클라우드, 운영 거버넌스를 결합합니다. Microsoft 계약은 대형 클라우드가 경쟁자이자 고객일 수 있음을 보여 줍니다. 2025년 발표는 배포와 가용성을 조건으로 2031년까지 약 174억 달러와 추가 확대 가능성을 제시했습니다. 이는 연간 매출이나 이미 받은 현금이 아닙니다. IAM과 인프라 거버넌스는 기업 도입을 돕지만 고객 데이터 정책과 에이전트 행동 권한은 용량 계약으로 해결되지 않습니다.
Nebius Cloud 3.6 governance release ↗https://nebius.com/newsroom/nebius-ai-cloud-3-6-strengthens-developer-experience-and-governance-for-production-operations · Nebius–Microsoft agreement ↗https://www.sec.gov/Archives/edgar/data/1513845/000110465925088312/tm2525580d1_6k.htm
Together AI
- 소유 / 조직
- Together AI
- 제어 지점
- 오픈 모델 추론·배포
Together는 오픈 모델을 쓰되 서빙 운영 전체를 직접 만들고 싶지 않은 팀을 대상으로 합니다. 전용 엔드포인트는 격리 GPU를 예약하고 배포·성능 관리 기능을 제공합니다. 경제성의 핵심은 이용률입니다. 지속 수요에는 GPU 시간 예약이, 불규칙 수요에는 유휴 예약을 피하는 토큰 과금이 적합할 수 있습니다. 지역 선택은 요금제와 설정에 달려 있습니다. 격리가 공급자 접근 문제를 없애거나 API 호환성이 운영 이식성을 보장하지는 않으므로 실제 모델과 요청 분포로 검증해야 합니다.
Together dedicated model inference ↗https://www.together.ai/dedicated-model-inference · Together EU deployment requirements ↗https://support.together.ai/articles/8079447813-eu-data-centers-and-dedicated-model-deployment
Fireworks AI
- 소유 / 조직
- Fireworks AI
- 제어 지점
- 추론 엔진·관리형 플릿 운영
Fireworks는 Sovereign으로 고객 소유 GPU에서 서빙 스택을 운영해 인프라 소유와 추론 소프트웨어·운영을 분리합니다. 고객은 네트워크 경계를 관리하고 Fireworks는 감사 가능한 설치 자격 증명과 범위가 제한된 구성 요소 ID를 명시합니다. BYOC가 공급자 접근이 전혀 없다는 뜻은 아닙니다. 선택적 클라우드 오버플로는 데이터 경계를 바꿉니다. 홍보하는 처리량·이용률 개선은 독립 비교가 아니며 경쟁력은 재현 가능한 효율과 운영 제공 능력으로 판단해야 합니다.
Fireworks Sovereign shared responsibility ↗https://fireworks.ai/product/sovereign · Fireworks enterprise controls and retention exceptions ↗https://fireworks.ai/solutions/for-enterprise
Baseten
- 소유 / 조직
- Baseten
- 제어 지점
- 맞춤 모델 서빙·배포
Baseten은 여러 클라우드 용량에 모델을 관리 배포하려는 AI 제품 팀을 대상으로 합니다. 2026년 11월 5일 보안 문서는 논리적으로 분리된 공유 인프라, 전용 클러스터, 자체 호스팅, 하이브리드 운영을 구분합니다. 이는 서로 다른 신뢰 경계입니다. 분석상 맞춤 통합과 안정적인 운영은 모델 목록 이상의 차별점이 됩니다. 구매자는 실행 위치, 공급자 접근, 제품별 인증 범위를 확인해야 하며 한 제품의 인증을 다른 제품에 자동 적용해서는 안 됩니다.
Baseten security practices ↗https://www.baseten.co/security-practices
Databricks
- 소유 / 조직
- Databricks
- 제어 지점
- 데이터·모델·업무 애플리케이션 플랫폼
Databricks는 기업 데이터를 모델과 애플리케이션으로 바꾸는 워크플로에서 경쟁합니다. MosaicML은 학습 기능, Tabular는 테이블 형식 상호 운용성을 더했고 Neon 기술은 운영형 Postgres인 Lakebase를 지원합니다. 분석상 데이터 통합과 누적 상태는 모델 가중치 외의 전환 비용을 만듭니다. 거버넌스가 단편화를 줄여도 실행 시점 권한을 대신하지는 못합니다. 카탈로그 권한은 특정 외부 결제를 승인하지 않으며 저장된 추적 기록도 결제 정산을 증명하지 않습니다.
Databricks–MosaicML acquisition agreement ↗https://www.databricks.com/company/newsroom/press-releases/databricks-signs-definitive-agreement-acquire-mosaicml-leading-generative-ai-platform · Databricks–Tabular completed acquisition update ↗https://www.databricks.com/blog/databricks-tabular · Databricks Lakebase launch powered by Neon ↗https://www.databricks.com/company/newsroom/press-releases/databricks-launches-lakebase-new-class-operational-database-ai-apps
하나의 배포에 경쟁 업체가 공존한다
이 계층들은 대체 관계보다 보완 관계인 경우가 많습니다. 기업은 전문 클라우드에서 GPU를 빌리고 다른 공급자의 추론 스택을 실행하면서 데이터 거버넌스는 기업 플랫폼에 남길 수 있습니다. 청구서는 여러 개지만 사용자는 하나의 서비스를 경험합니다. 용량 부족, 배포 정지, 근거 접근 실패, 느린 생성, 무단 행동은 다른 사고이므로 각각 책임자를 정해야 합니다. 통합은 조정 비용을 줄여도 단일 계약이 모든 구성 요소의 신뢰성을 같게 만들지는 않습니다. 스타트업의 매력적인 기회는 공급자 사이에서 반복적으로 실패하고 고객의 자체 운영 비용이 큰 경계이지 GPU 이용률 대시보드를 하나 더 만드는 것이 아닙니다.
기술 핵심: 프리필, 디코드와 KV 예산
프리필은 입력을 처리해 key/value 상태를 만들고, 디코드는 새 토큰을 생성하며 기존 상태를 반복해서 읽습니다. 병목은 부하와 하드웨어에 따라 달라집니다. 연속 배칭은 활용률을 높일 수 있지만 과도한 동시성은 대기와 메모리 부담을 키웁니다. 두 단계를 분리하면 별도 스케줄링이 가능하지만 KV 전송과 네트워크 비용이 생깁니다. 공급자는 목표 동시성에서 첫 토큰 및 토큰 간 지연을 충족해야 합니다.
일반 캐시의 바이트 수는 대략 2 × 레이어 수 × 활성 시퀀스 수 × 시퀀스별 캐시 토큰 수 × KV 헤드 수 × 헤드 차원 × 요소 바이트 수입니다. 각각 32, 8, 4096, 8, 128, 2이면 4 GiB입니다. 이 합성 예제는 가중치, 활성값, 단편화와 메타데이터를 제외합니다. 그룹 쿼리 어텐션은 KV 헤드를 줄입니다. 접두사 공유에는 유효한 재사용과 격리 조건이 필요합니다. 평균 요청뿐 아니라 최대 점유량도 계획해야 합니다.
용량·토큰·승인된 작업의 경제성
용량 사업은 장비, 전력, 납기, 이용률 위험을 부담합니다. 추론 소프트웨어는 지연·품질 제약 아래의 유효 처리량으로, 데이터 플랫폼은 통합과 유지율로 경쟁합니다. 합성 예시에서 A는 요청 1,000건에 20달러, 합격 800건이므로 건당 0.025달러입니다. B는 16달러지만 합격 500건이면 건당 0.032달러입니다. B는 요청당 싸지만 합격 작업당 비쌉니다. 절감 주장에는 유휴 예약, 재시도, 데이터 이동, 사람 검토를 포함하고 작업 구성·품질 기준·기한을 같게 해야 합니다.
또 다른 합성 예제는 용량 위험과 소프트웨어 마진을 구분합니다. 예약 워커가 24시간에 240달러라면 생산적 가동률 80%에서 유효 시간은 19.2시간, 시간당 비용은 12.50달러입니다. 가동률 25%에서는 6시간에 시간당 40달러가 됩니다. 예약 가격은 같습니다. 실제 GPU 견적이 아니며 바쁜 시간 자체가 유용한 결과를 뜻하지도 않습니다. 자체 설비 기업과 고객 GPU 위에서 운영하는 소프트웨어 기업을 비교할 때 가동률 약속, 워크로드 다양성, 유휴 비용의 부담자가 중요한 이유입니다. 이 예제로 비상장 기업의 매출총이익률을 추정하지 않습니다.
경쟁력과 미해결 문제가 남는 곳
오픈소스는 이익을 없애기보다 배분을 바꿉니다. Run:ai 모듈 네 개는 일부 스케줄링 기능을 표준화하지만 커뮤니티 배포에는 기업 지원이 포함되지 않습니다. 이기종 플릿 복구, 정책 준수 다중 공급자 라우팅, 비용 귀속, 이식 가능한 증거에는 지속적 기회가 있을 수 있습니다. 라우터는 가격뿐 아니라 지역·보존·품질·장애 전환 권한을 지켜야 합니다. 공개 가중치가 IAM 의미, 평가 이력, 배포 상태의 이식성을 보장하지는 않습니다. 책임 경계와 내보내기 경로를 요구하고 반복 운영 장애에 예산 책임자가 있는지, 플랫폼이 해결책을 묶어 제공할 수 있는지 따져야 합니다.
4. Electricity data: scale and uncertainty
The IEA's 2026 update puts global data-centre electricity consumption at 485 TWh in 2025 and projects approximately 950 TWh in 2030 in its central outlook. These are not AI-only figures. The projected increase is roughly 1.96×, not an observation that consumption has already doubled. The report also identifies physical supply constraints, including HBM and power-system bottlenecks. IEA source, scope and assumptionshttps://www.iea.org/reports/key-questions-on-energy-and-ai/executive-summary.
Electricity demand is a useful scale indicator, not an AI capability metric. Lower energy per task can coexist with higher total consumption if adoption grows or tasks become more computationally intensive. A query that initiates repeated planning, retrieval and verification cannot be compared with a single short completion simply by counting user messages.
For a facility, distinguish IT load from total facility load. Power usage effectiveness is total facility energy divided by IT energy over the same measurement interval; it does not describe model quality. A lower value cannot compensate for wasted computation. For deployment decisions, measure energy per accepted task, peak power, cooling constraints and grid availability separately. A global TWh forecast cannot tell you whether a particular site can connect next quarter.
5. The technical frontier: what to optimize, and what can fail
Prefill and decode disaggregation
Prefill processes the input sequence and initializes the cache; decode repeatedly produces another token. Their operating points differ. DistServe studies separating the phases and selecting resource allocations around time-to-first-token and time-per-output-token constraints. Its original preprint appeared January 18, 2024; this reading pins arXiv v3, June 6, 2024. Abstracthttps://arxiv.org/abs/2401.09670v3 · PDFhttps://arxiv.org/pdf/2401.09670v3.
The useful inference is not “separation is always faster.” Moving cache state costs bandwidth and coordination. With short prompts or a constrained network, colocated execution can be simpler and competitive. Measure cache-transfer time, queue delay and both latency objectives. Hold offered load constant; a configuration that rejects difficult requests must not appear faster merely because it serves an easier subset.
KV cache as a first-class resource
Cache memory grows with active sequence tokens. Grouped-query attention reduces the number of key/value heads relative to query heads, changing memory requirements. Prefix caching can reuse shared prompt state, but tenant boundaries and cache keys must prevent unauthorized reuse. Offloading may increase capacity while adding transfer latency. These are separate interventions: benchmark each rather than calling all of them “cache optimization.”
Mixture of experts and interconnects
An MoE layer routes tokens to selected expert networks. Sparse activation reduces the arithmetic used per token relative to activating every expert, but weights still need storage and routing creates communication. Skewed expert demand can create hot spots. Compare expert placement, token imbalance, communication overlap and tail latency. Counting active parameters alone does not determine serving cost.
Quantization and speculative decoding
Lower precision can reduce memory traffic, but scales, outliers and unsupported kernels complicate the result. Verify downstream task quality and numerical behavior, not only model loading. Speculative decoding proposes multiple tokens and verifies them with a target model; useful acceleration depends on acceptance, proposal cost and verification efficiency. Keep the target distribution and implementation assumptions explicit. A fast draft with low acceptance can slow the full system.
Training reliability and elastic scheduling
Large training jobs coordinate many devices. More devices create more opportunities for hardware or software interruption. Checkpoint frequency trades useful computation against recovery exposure; storage contention can make frequent checkpoints expensive. For a shared cluster, optimize fairness and queue wait as well as accelerator occupancy. High utilization from low-priority work is not success if urgent jobs repeatedly miss deadlines.
인수, 자본, 전략적 영향
인수로 바뀌는 통제 지점
CoreWeave는 W&B 계약을 2025년 3월 4일 발표하고 5월 5일 완료했습니다. OpenPipe는 9월 3일 발표했으며 공시가 9월 5일을 거래 종결과 연결합니다. 용량을 개발·사후 학습과 잇는 행보입니다. Databricks의 MosaicML은 2023년 6월 26일 발표, 7월 19일 완료되었고 약 13억 달러에는 인력 유지 패키지가 포함됩니다. Tabular는 공식 블로그가 2024년 6월 7일 완료를 확인합니다. Neon 기술 기반 Lakebase는 2025년 6월 11일 출시되었지만 Neon의 정확한 법적 종결일은 이번 조사에서 확정하지 않았습니다. 반복 워크플로 통합을 보여 줄 뿐 교차 판매 성공을 증명하지 않습니다. 발표·종결·제품 통합은 별개 단계입니다.
제품 및 거래의 1차 출처
- NVIDIA: full Run:ai platform open-source release ↗https://developer.nvidia.com/blog/nvidia-runai-is-now-open-source-as-part-of-nvidia-dsx-ai-factory-platform ·
- NVIDIA Dynamo ↗https://www.nvidia.com/en-us/ai/dynamo/ ·
- Amazon Bedrock: data protection and shared responsibility ↗https://docs.aws.amazon.com/bedrock/latest/userguide/data-protection.html ·
- Amazon Bedrock: invocation permissions ↗https://docs.aws.amazon.com/bedrock/latest/userguide/inference.html ·
- Microsoft Foundry architecture ↗https://learn.microsoft.com/en-us/azure/foundry/concepts/architecture ·
- Microsoft Foundry network isolation ↗https://learn.microsoft.com/en-us/azure/foundry/how-to/configure-private-link ·
- Google Cloud service-specific data residency ↗https://cloud.google.com/terms/data-residency ·
- Google Cloud: securely deploying AI ↗https://cloud.google.com/blog/products/identity-security/mastering-secure-ai-on-google-cloud-a-practical-guide-for-enterprises/ ·
- CoreWeave completes Weights & Biases acquisition ↗https://www.coreweave.com/blog/coreweave-completes-acquisition-of-weights-biases ·
- CoreWeave 2025 Form 10-K ↗https://www.sec.gov/Archives/edgar/data/1769628/000176962826000104/crwv-20251231.htm ·
- Nebius Cloud 3.6 governance release ↗https://nebius.com/newsroom/nebius-ai-cloud-3-6-strengthens-developer-experience-and-governance-for-production-operations ·
- Nebius–Microsoft agreement ↗https://www.sec.gov/Archives/edgar/data/1513845/000110465925088312/tm2525580d1_6k.htm ·
- Together dedicated model inference ↗https://www.together.ai/dedicated-model-inference ·
- Together EU deployment requirements ↗https://support.together.ai/articles/8079447813-eu-data-centers-and-dedicated-model-deployment ·
- Fireworks Sovereign shared responsibility ↗https://fireworks.ai/product/sovereign ·
- Fireworks enterprise controls and retention exceptions ↗https://fireworks.ai/solutions/for-enterprise ·
- Baseten security practices ↗https://www.baseten.co/security-practices ·
- Databricks–MosaicML acquisition agreement ↗https://www.databricks.com/company/newsroom/press-releases/databricks-signs-definitive-agreement-acquire-mosaicml-leading-generative-ai-platform ·
- Databricks issuer release: MosaicML acquisition completed ↗https://www.prnewswire.com/news-releases/databricks-completes-acquisition-of-mosaicml-301881059.html ·
- Databricks–Tabular completed acquisition update ↗https://www.databricks.com/blog/databricks-tabular ·
- Databricks Lakebase launch powered by Neon ↗https://www.databricks.com/company/newsroom/press-releases/databricks-launches-lakebase-new-class-operational-database-ai-apps ·
- CoreWeave announces OpenPipe agreement ↗https://www.coreweave.com/news/coreweave-to-acquire-openpipe-leader-in-reinforcement-learning ·
- CoreWeave 2025 Q3 filing: OpenPipe closing ↗https://www.sec.gov/Archives/edgar/data/1769628/000176962825000062/crwv-20250930.htm ·
Source and maintenance notes
Primary links are placed beside the claims they support. Acquisition amounts retain their original basis; undisclosed values remain undisclosed. Product specifications and release statements are vendor disclosures, not comparative evidence from Token Lab. The diagrams and reference calculations are original educational material. Corrections should identify the section, source and proposed replacement; a source-access date is not a paper publication date.
All frontier research · Top Company Frontier · Editorial standards
실습과 검증
실습: 장애와 부하 속 인프라
제안 후 모델을 중지하고 재시작 뒤 승인 대기를 유지하는지 확인합니다. 도구 확인 후 workflow를 멈추고 재시도 전 대사합니다. 대화는 영속 체크포인트가 아닙니다.
시간초과, 잘못된 인자, 모델 버전 불일치를 주입해 유한 시도, 명시 상태, 주·대체 동일 권한을 요구합니다. 같은 예산으로 안전 보류와 비교합니다.
긴 문맥, 느린 도구, 취소, 급증, 콜드 캐시, 장애를 재생해 누수와 큐 증가를 볼 만큼 실행합니다. 하드웨어, 정밀도, 모델, 스케줄러, 버전을 기록하고 같은 p95·합격률로 처리량을 비교합니다. 롤백 기준을 먼저 정합니다.
활성·큐 한도를 넘어 명시 과부하, 유한 메모리, 다른 테넌트 진행을 확인합니다. 입력·출력·접두사를 독립 변경하고 콜드·웜과 격리를 구분해 처리량, 꼬리 지연, 최대 메모리, 합격률을 보고합니다.
지역 장애, quota 고갈, 느린 검색, 승인 대기 재시작 뒤 취소·철회·멱등성을 검증합니다. 로컬 측정과 미증명 분산 보장을 구분합니다.
7. Reproduce a memory and cost budget
This is an original teaching calculation, not a vendor benchmark. Assume B active sequences, T cached tokens per sequence, L transformer layers, Hkv key/value heads, head dimension d and b bytes per stored value. K and V each have shape [B, Hkv, T, d] per layer. Ignoring allocation overhead and sharding:
For B=8, T=8192, L=32, Hkv=8, d=128 and b=2, the cache occupies 8 GiB. At 32768 tokens it occupies 32 GiB. Changing Hkv from 8 to 32 also gives 32 GiB at the shorter length. GiB means 2³⁰ bytes; device specifications expressed in GB need conversion before subtraction.
This is logical total cache size, not a claim about per-device allocation. Add weights, temporary activations, runtime reservations, fragmentation and any duplicated/sharded state. Weight quantization does not automatically quantize the cache. In a mixed-length batch, replace B×T with the sum of each active sequence's cached length.
At an illustrative $8 per hour and two accepted requests per second, the capacity cost is $0.001111 per accepted request. One accepted request per second doubles it. These hypothetical prices exclude network, storage, labor and idle reservations. “Accepted” should include a task-quality check and the agreed latency constraint; otherwise a faster but less useful system gets an unfair advantage.
Local capacity experiment
KV cache: 8.000 GiB for the stated eight-sequence configuration.
Predict the result before doubling the context length. No inputs leave your browser.
Download infra-capacity.py. Python 3.10+, standard library only; deterministic arithmetic, no random seed, network requests or model API. Run python3 infra-capacity.py.
"""Teaching arithmetic, not a GPU benchmark. Python 3.10+, standard library."""
from math import isclose
def kv_gib(batch, tokens, layers, kv_heads, head_dim, bytes_per_value):
values = (batch, tokens, layers, kv_heads, head_dim, bytes_per_value)
if any(not isinstance(x, int) or isinstance(x, bool) or x <= 0 for x in values):
raise ValueError("All dimensions and bytes per value must be positive integers")
return 2 * batch * tokens * layers * kv_heads * head_dim * bytes_per_value / 2**30
def cost_per_success(hourly_cost, accepted_per_second):
if hourly_cost < 0 or accepted_per_second <= 0:
raise ValueError("Nonnegative cost and positive accepted throughput required")
return hourly_cost / (3600 * accepted_per_second)
if __name__ == '__main__':
small = kv_gib(8, 8192, 32, 8, 128, 2)
long = kv_gib(8, 32768, 32, 8, 128, 2)
assert small == 8 and long == 32
assert kv_gib(8, 8192, 32, 32, 128, 2) == 32
assert kv_gib(8, 8192, 32, 8, 128, 1) == 4
assert isclose(cost_per_success(8, 2), 8/7200)
assert cost_per_success(8, 1) == 2 * cost_per_success(8, 2)
for args in [(0, 1, 1, 1, 1, 2), (1, -1, 1, 1, 1, 2)]:
try:
kv_gib(*args)
except ValueError:
pass
else:
raise AssertionError('Invalid dimensions accepted')
print(f'KV: 8k = {small:.1f} GiB; 32k = {long:.1f} GiB')
print(f'Cost per accepted request: ${cost_per_success(8, 2):.6f}')
print('8 checks passed')
Expected output:
KV: 8k = 8.0 GiB; 32k = 32.0 GiB
Cost per accepted request: $0.001111
8 checks passedA real benchmark protocol
Pin the model checkpoint, tokenizer, runtime commit, kernels, precision, hardware topology and power configuration. Replay the same timestamped request trace under cold and warm caches. Sweep offered load until an SLO fails. Report arrivals, successful completions, errors, quality, p50/p95/p99 latency and throughput together. Repeat independent runs and publish spread, not just the best run.
Ablate one factor at a time: colocated versus separated phases; cache reuse off versus on; full versus reduced precision. Compare equal hardware budgets first, then equal cost and power budgets if available. Do not drop out-of-memory failures from the denominator. This lesson verifies arithmetic only; it does not run a GPU service or reproduce a paper's headline speedup.
8. Open problems and original interview practice
Unresolved problems: managing long-lived agent state without runaway memory; sharing processors without noisy-neighbor latency; predicting MoE traffic; reliable heterogeneous execution; reducing recovery loss; and reconciling interactive demand with power constraints. Each problem joins at least two layers. A promising research question specifies both an improvement and the condition under which it stops helping.
For example: can a scheduler reduce p99 latency without reducing accepted throughput for another tenant? Can a cache-placement policy save memory without increasing disclosure risk? Can a hardware-independent intermediate representation preserve performance across kernels rather than merely compile? These are measurable questions. “More efficient infrastructure” is not yet an experiment.
The following are original simulations, not reported company interview questions.
1. Why can a 2× faster kernel leave end-to-end latency almost unchanged?
First hint: Separate queue, computation, communication and tool time.
Answer and analysis
If the improved kernel was only 10% of total latency, halving it changes total time from 1 to 0.95: approximately 1.053× speedup. Queueing can further change the result under load. Measure the critical path before optimizing.
Score yourself: 1/5 names the concept; 2/5 defines it; 3/5 derives the relevant mechanism or calculation; 4/5 tests a counterexample; 5/5 states assumptions, trade-offs and an evaluation that could disprove the answer.
2. A model fits in memory. Why can inference still fail?
First hint: Weights are not the only resident state.
Answer and analysis
Concurrent KV caches, activation workspace and allocator reservations can exhaust memory. Calculate each term with units, inspect actual peak allocations, then test mixed sequence lengths and admission control. Model parameter count alone is insufficient.
Score yourself: 1/5 names the concept; 2/5 defines it; 3/5 derives the relevant mechanism or calculation; 4/5 tests a counterexample; 5/5 states assumptions, trade-offs and an evaluation that could disprove the answer.
3. When does prefill/decode separation lose?
First hint: Account for the state crossing the boundary.
Answer and analysis
Transfer and coordination can dominate for short requests or slow links. Sweep prompt length and offered load with fixed SLOs, include network contention, and compare equal resources. A paper’s maximum speedup is not a universal prediction.
Score yourself: 1/5 names the concept; 2/5 defines it; 3/5 derives the relevant mechanism or calculation; 4/5 tests a counterexample; 5/5 states assumptions, trade-offs and an evaluation that could disprove the answer.
4. What would make a cheaper accelerator more expensive per successful request?
First hint: Include software, utilization and failures.
Answer and analysis
Lower rental cost can be offset by unavailable kernels, compilation, retries, low quality or idle reservation. Compare accepted goodput and total ownership costs using the same workload, not hardware price alone.
Score yourself: 1/5 names the concept; 2/5 defines it; 3/5 derives the relevant mechanism or calculation; 4/5 tests a counterexample; 5/5 states assumptions, trade-offs and an evaluation that could disprove the answer.
Continue with inference systems, the attention project and the companion AI security survey. These topics meet at cache isolation, scheduling privileges and operational reliability.
9. Frontier research agenda: five falsifiable projects
The following are Token Lab's proposed research directions, not claims that these methods have already succeeded or are novel. Search the literature before claiming novelty. Each proposal starts with an engineering failure and ends with evidence that would count against the idea. Select one narrow workload for a first PoC; broad claims require replication across tasks, implementations and operating conditions.
1. Long-context capacity under a latency budget
Why existing approaches are insufficient: A scheduler that treats each request as an identical job ignores the memory-time footprint of a long context. Reserving only current cache size can over-admit work; reserving maximum context can waste capacity.
Testable hypothesis: A reservation policy using predicted remaining tokens can improve accepted throughput at a fixed out-of-memory risk and latency SLO.
Baselines and fair comparison: Compare current-size reservation, worst-case reservation and a simple length-bucket policy before adding a learned predictor. Use the same arrival trace and cap total memory.
Measurements: Report accepted goodput, rejection rate, prediction calibration, out-of-memory events and p99 latency by length bucket. Include deliberately underestimated output lengths.
What would falsify the claim: Reject the hypothesis if the apparent gain comes from rejecting long requests, increasing failures, or obtaining future token lengths unavailable at admission. A useful system should degrade gracefully when predictions are wrong.
2. Disaggregation when the network is shared
Why existing approaches are insufficient: Dedicated-link benchmarks can hide contention. Prefill/decode separation moves a large cache between stages while training, storage and other tenants may use the same fabric.
Testable hypothesis: Topology-aware placement and bounded transfers can preserve the gain under realistic cross-traffic.
Baselines and fair comparison: Compare colocated serving, naive separation and bandwidth-aware placement. Sweep prompt length, batch size and network contention without changing total accelerators.
Measurements: Measure transfer bytes and duration, queue wait, TTFT, TPOT and goodput. Report the crossover region where separation stops helping, not only the best configuration.
What would falsify the claim: Reject if the method needs dedicated bandwidth that the baseline was denied, or reduces one latency metric by violating the other. A robust result includes topology changes and link degradation.
3. Portable performance across accelerator families
Why existing approaches are insufficient: A model can compile on two systems while one falls back to slow kernels or numerical approximations. Portability of source code and portability of performance are different goals.
Testable hypothesis: A small set of workload-aware kernel choices can retain quality and predictable performance across two supported platforms.
Baselines and fair comparison: Use the default runtime, hand-tuned platform paths and the proposed portable selection policy. Pin model weights and compare identical task outputs with appropriate numerical tolerances.
Measurements: Report compile time, fallback operations, end-to-end cost, energy when measurable, quality and maintenance effort. Include dynamic sequence shapes and an unseen model variant.
What would falsify the claim: Reject if gains require per-model manual retuning comparable to the specialized baseline, or if quality drops explain throughput. Document unsupported operators instead of silently excluding them.
4. Power-aware service without exporting the cost to users
Why existing approaches are insufficient: Optimizing energy in isolation can defer work until queues become unacceptable; optimizing latency alone can create demand peaks. Long reasoning workloads further vary per-request compute.
Testable hypothesis: A controller that jointly chooses admission, batching and power limits can reduce energy per accepted task while maintaining a declared latency envelope.
Baselines and fair comparison: Compare fixed power, static batching and an SLO-only scheduler. Replay identical bursts; keep task quality fixed and include controller overhead.
Measurements: Measure joules per accepted task, wall power, p95/p99 latency, throughput, rejection and recovery after a burst. State whether power is device-only or facility-wide.
What would falsify the claim: Reject if saved energy is just unserved work, if the measurement omits another device, or if gains vanish outside a smooth synthetic trace. Grid-level claims require evidence beyond GPU telemetry.
5. Persistent agent state across failures and tenants
Why existing approaches are insufficient: An agent session may outlive a process, move across hardware and hold private context. Cache migration and prefix reuse create both a systems optimization and an authorization problem.
Testable hypothesis: A versioned state protocol with tenant-scoped keys can support recovery without exposing stale or unauthorized context.
Baselines and fair comparison: Compare no reuse, process-local reuse and shared reuse with explicit ownership. Inject restarts, revocations and concurrent updates.
Measurements: Measure recovery time, recomputation, cache hit rate, accepted throughput and isolation violations. Test correctness of outputs and policy decisions after each migration.
What would falsify the claim: Reject if recovery works only without revocation, if a cross-tenant key collision leaks state, or if the method assumes all workers are equally trusted. This is a joint infrastructure/security project.
From a two-week PoC to a defensible report
In the first stage, write the system boundary, assumptions and failure criterion before implementing the proposed method. Build the simplest baseline and a reproducible fixture. In the second stage, add one intervention and run controlled sweeps; retain failed runs and explain exclusions. In the final stage, test an unseen workload or attack family and write a limitations section. Separate what your experiment measured from what you hope will generalize.
A useful report contains a configuration manifest, data-generation procedure, code commit, exact commands, raw observations, aggregation script and a table of threats to validity. Use multiple seeds when randomness matters; repeated deterministic arithmetic is not independent evidence. Publish negative results: the boundary where a technique stops working is often the most transferable lesson.