AI 如何加速 AI 推理:从自动生成 kernel 到可靠服务
系统梳理 AI 性能工程的机制、近期证据、硬件边界与生产架构,附可复现本地实验。
来源与版本详情
本文目录
究竟在改进什么?
AI 辅助推理优化,是让模型提出执行代码或运行配置的改进,再用外部证据筛选候选。它不意味着模型在回答时突然变聪明。被服务模型的权重可以完全不变,改变的是执行这些权重的方式;优化者也可能是另一个模型,在另一组硬件上运行。
必须区分三类机制:代码优化改变数学运算的实现;服务优化改变调度、批处理、缓存与并行布局;模型层加速改变精度、结构或解码方法,可能影响质量约束。若精度、采样或输出长度发生变化,仅说“同一模型”不足以证明等价。
全文使用一个 SRE 事故助手贯穿:读取证据后生成报告。用户关心等待时间与结论是否有依据,而不是某个矩阵乘法的峰值。先沿请求深入 GPU 运算,再沿优化候选返回受控发布。这是本站原创参考设计,不冒充厂商内部架构。
先修知识:张量、存储与延迟
张量不仅有 shape,还有 dtype 与 stride。shape 表示逻辑维度,stride 决定元素在内存中的位置。只支持连续矩阵的 kernel 可能错误读取转置视图。dtype 同时决定存储大小与数值行为;浮点加法不满足结合律,改变归约次序可能改变结果,不一定是简单的代码错误。
HBM 是容量较大的设备内存,寄存器与共享内存更小、更靠近计算单元。GPU kernel 是分派给大量线程执行的程序。融合让多个运算在一次分派中完成,减少中间结果写回 HBM;分块让局部输入重复使用。但保留更多中间值可能提高寄存器压力、降低占用率,甚至溢出到内存。
延迟是单次请求经过的时间,吞吐是所有请求每秒完成的有效工作。接近饱和时,即使 kernel 时间不变,排队也可能主导延迟。优化前必须理解张量契约、存储层次,以及产品真正需要满足的期限。
跟随请求:Prefill 不等于 Decode
SRE 请求先经过身份验证、分词和排队。调度器根据模型与 KV cache 容量接纳请求。Prefill 处理提示词并建立注意力键值;Decode 反复生成下一个 token 的分布、采样并追加缓存,直到停止。流式传输与生成并行进行,取消和重试必须正确处理请求占用的状态。
Prefill 通常包含较大的矩阵运算,并行度较高;小 batch 的 Decode 常常更受权重和 KV 数据搬运限制,增加 batch 可以让多个请求复用权重读取。但这只是常见趋势,长上下文、稀疏结构、互连与实现都会改变瓶颈。
TTFT 应从客户端发出请求算到首个 token 返回,包含网络与排队;token 间隔应在输出流上测量,不能拿 kernel 时间代替。必须在明确的请求到达模式下同时报告分位延迟与总体吞吐。大 batch 提升总体 tokens/s,并不保证每位交互用户等待更短。
| 层次 | 需要回答的问题 | 应避免的错误 |
|---|---|---|
| Kernel | 目标 GPU 上的运算真的改善了吗? | shape 错误、异步计时、弱基线 |
| 引擎 | 真实 batch/上下文下前向过程是否改善? | 缓存布局不匹配、MoE 不均衡 |
| 服务 | 用户 TTFT 和尾延迟是否达标? | 队列饱和、不公平的热缓存比较 |
| 任务 | 正确结果是否更便宜或更快? | 缩短输出或降低质量冒充效率 |
改代码之前,先定位限制资源
Roofline 的简化下界比较计算时间与搬运时间。F 是浮点运算次数,P 是可达到的每秒运算数,D 是传输字节数,B 是可达到的带宽。若计算与搬运完全重叠,二者时间的较大值仍是乐观下界;启动、同步、通信还会增加约束。芯片标称峰值不是应用实测速度。
原创教学算例:4096×4096 的 FP32 数组读写各一次,共搬运 134,217,728 字节。假设持续带宽为 1 TB/s,仅搬运就约需 0.134 ms。如果候选声称从 HBM 完整读写却只耗时 0.01 ms,应先检查缓存驻留、字节统计与计时。本例是计算,不是硬件实测。
优化 Agent 应获得 profile、shape、stride、误差约束和瓶颈。候选可能删除冗余拷贝、融合逐元素运算、调整 tile。只有“帮我加速”一句话,容易让模型优化并不重要的部分。保留原始基线,才能追溯改进来源。
具体 kernel:逐行 RMS 归一化
设输入 X 的形状为 [M,N],可学习缩放向量 w 为 [N]。每行计算平方均值,加上正数 epsilon,取平方根的倒数,再乘输入及对应列缩放。RMS 归一化不同于 LayerNorm:它不减均值。对 FP16/BF16 输入采用 FP32 累加可降低误差,但仍需限定输入范围。
分解实现可能写出平方数组与归一化中间值;融合实现尽量在片上完成读取、归约与缩放,最后写出结果。为 tile 补齐宽度时必须使用 mask:填充项向求和贡献零,分母仍为真实 N。用补齐宽度当分母,是“很快但错误”的程序。
当行过宽时,寄存器预算可能不足。分阶段归约虽然增加启动与中间存储,反而可能更快。Agent 应在有效实现中选择,而不是记住测试输入答案。文末本地实验实现数学契约和故意错误的填充版本,不把 Python 循环性能冒充 GPU 融合性能。
优化者是有边界的工程系统
控制面记录基线 commit、硬件、负载分布与预算。编码 Agent 读取授权源码和 profile,提出补丁,作为不可变候选提交。隔离 worker 编译执行;评估器独立掌握正确性用例与计时,候选不能修改自己的裁判。编译失败、误差、资源消耗与时间分布形成结构化反馈,候选仓库保留成功和失败记录,避免重复探索死路。
这是约束搜索:在数值、质量、内存与尾延迟约束下最小化成本或延迟。单一分数可能掩盖少数 shape 的严重退化,因此需要保存分负载结果,目标冲突时考虑 Pareto 前沿。编译错误是反馈,预算耗尽是停止条件,不能成为删除检查的理由。
执行与晋级必须分离。沙箱 worker 没有生产凭据,GPU 时间受限,不能更改隐藏用例;候选二进制和依赖均版本化。只有发布控制器可以晋级独立合格的产物,并保留已知可用的回滚版本。图中明确这一边界,Agent 不直接写入生产。
参考架构:优化不能绕过发布控制
近期证据:不同主张,不同分母
Together Compiler 于 2026-11-04 发布报告,描述持久化引擎,并在其指定的 InferenceX 比较中报告最高 2.6 倍 TPS。OpenAI 于 2026-07-29 的工程报告,将端到端服务成本降低 20% 归因于一组 kernel 相关改进。DeepMind 于 2025-05-14 的 AlphaEvolve 公告报告某 kernel 加速 23%,对应 Gemini 训练时间减少 1%。这些是作者报告,不是本站复现。[1] [2] [3]
三者分别是吞吐比较、成本陈述和训练案例,不能放在同一榜单排名。绝对 tokens/s 必须附模型、硬件数量、精度、上下文、batch/并发与延迟约束。厂商最优案例只描述特定负载,不代表你的全部流量。
持久化实验解决的实际问题是:每次候选都重新加载权重、重建引擎,会消耗探索时间。但进程持续存活也要求隔离状态,不能让候选继承无效缓存、分配器状态或上一候选的配置。快速迭代和可信测量必须同时设计。
超越 kernel:缓存、投机解码与并行
前缀缓存复用兼容的已有计算,适用于重复的精确前缀,并非任意语义相近文本。缓存键需绑定模型版本、相关数值配置及租户策略。若提示词前缀不稳定,重复 Prefill 的损失可能超过 kernel 优化;反过来,也不能把热缓存结果宣传为冷缓存 kernel 加速。
投机解码先用草稿机制提出多个 token,再由目标机制验证。合适的接受与修正算法可以保持目标分布,但不是所有启发式方案都保证这一点。收益取决于接受率、草稿成本、验证成本和设备利用率。更大草稿模型可能提高一致性,却拖慢整体。AI 搜索草稿结构与实现,是优化过程;投机解码本身是另一种服务算法。
张量并行拆分计算,专家并行分布 MoE 专家,数据并行复制服务能力。增加设备可能减少本地工作,也增加通信和不均衡。短请求与长上下文 Agent 可能需要不同布局。必须纳入真实路由偏斜与拓扑;逐层独立最优不一定组成全局最优,还可能造成缓存布局和 kernel 不兼容。
从微秒到业务价值
Amdahl 定律说明:若基线时间中比例 f 的部分加速 s 倍,其余工作不变,整体加速存在上限。如果 kernel 占请求时间 40%,这一部分快两倍,整体只快 1.25 倍,新时间为旧时间的 80%,即延迟减少 20%,不是减少 100%。这个模型未包含排队变化;高负载下容量改变会非线性影响等待。
教学算例:SRE 请求共 1000 ms,其中网络与排队 200、Prefill 300、Decode 400、应用处理 100。Decode 减半后为 800 ms,再把 Prefill 减半才到 650 ms,即约 1.54 倍。这些数字仅说明核算方法。若 20 次调用严格串行,每次省 200 ms,总共省 4 秒;并行与工具等待会改变关键路径。
优化也有成本。假设搜索与资格审查花费 120 美元,每个质量相同的成功请求节约 0.0002 美元,则需 60 万请求回本,尚未计维护。失败实验、GPU、编码模型 token、人工审核、回滚风险都要计入。应按满足质量和 SLO 的成功任务计算,不只按生成 token 计算。
公司与研究团队各自控制哪一层?
Wafer 把面向负载的推理优化作为托管产品,其 YC 介绍明确描述 Agent 充当性能工程师。买方主要购买可用 endpoint,而不是购买一个 kernel 文件。营销案例需要限定范围,并用自身负载比较。[4]
Together 是服务商的优化系统,OpenAI 是模型提供商内部优化,DeepMind AlphaEvolve 是更广泛的算法发现系统。KernelBench 是评估工具,不是推理厂商。Apple RSI-Inference Bench 面向真实 vLLM/SGLang 引擎修改;官方仓库列出 37 项任务,覆盖模型支持、优化和性能回归修复。[1–3] [5] [6]
本站行业判断:长期优势在于代表性负载、可靠资格审查、硬件利用率与交付能力,而不只是生成代码。企业买方应追问谁控制遥测、谁批准修改、能否导出产物,以及失败时如何回退。托管服务可跨流量摊销搜索成本;私有部署控制力更强,但承担工程成本。本节比较技术位置,不是营收、市占或收购排行榜,也未建立这些财务事实。
生产边界与尚未解决的问题
发布产物清单应包含源码 commit、模型版本、编译器/运行时版本、GPU 架构、支持的 shape/dtype、误差契约、测量记录与回滚标识。运行时只分派支持的情况,其他情况走有效 fallback。shape guard 是可执行契约,不是 README 说明。影子运行不能重复真实副作用,金丝雀流量也必须遵守租户权限。
监控客户端延迟、错误率、OOM、输出质量信号和资源饱和。违反阈值时停止晋级并恢复上次合格版本。正在执行的请求应保持实现一致,缓存格式不兼容时先排空。Kubernetes 能调度 GPU worker、滚动发布,但不能证明数值正确,也不能让任意热替换自动安全。优化 worker 的服务账号必须与生产部署权限分离。
开放问题包括跨 shape/硬件迁移、基准污染、长生成数值漂移、硬件噪声、昂贵资格审查与流量变化。搜索更快也可能过拟合更快;反复依赖同一验证集选候选,会把它变成训练反馈。保留独立最终负载,记录查看次数。真正有价值的前沿是更便宜的搜索与更强的独立证据,而不是没有边界的 Agent。
这是否就是递归自我改进?
如果 AI 改进了之后用于运行自身优化工作的推理栈,就存在有意义的反馈:固定预算里可以做更多有效实验。但一次成功 kernel 补丁只证明一次优化事件。要证明递归放大,需要多代过程、固定评估规则、每代成本,以及下一代优化能力在留出任务上的提升。
不要把推理更快等同于推理能力更强,也不要把代码演化等同于权重学习。评估器、硬件权限、人工干预与预算增长都可能才是收益来源。公平研究应比较固定优化器、增加预算的固定优化器、以及声称自我改进的优化器,报告每代何处停滞、哪些职责仍由人控制。这样才能看到真实工程价值,而不必宣称自主智能爆炸。
实践与独立验证
本地实验:拒绝“很快但错误”的候选
使用 Python 3.11 或更新版本,仅需标准库:python3 lab.py。随机种子为 42。参考实现计算 RMS 归一化;正确候选复用每行缩放;错误候选用补齐宽度作分母;另一个错误候选全部返回零。填充错误在开发宽度 4、8 上通过,却在审计宽度 3、7、33 上失败。这展示 shape 过拟合,不调用付费模型,也不上传输入。审计用例是公开教材,不是生产隐藏测试。参考入口拒绝空缩放向量、宽度不符和非有限值,生产候选也必须由相同契约保护。
预期结果:candidate 两组都通过;padded_bug 仅开发组通过;zero_bug 两组都失败。Amdahl 算例输出 1.25,回本请求数为 600000;gpu_benchmark_performed 保持 false。不用 Python 执行时间声称 GPU 加速。输出记录实际 Python 版本,无第三方依赖。
GPU 扩展应以 CUDA/Triton 实现同一契约,记录驱动、GPU、编译器、框架版本与源码哈希。覆盖奇数宽度、零行、大数、支持的非连续布局及 dtype 边界。与合适的优化框架基线比较,不只与慢 Python 分解比较。编译预热单独处理,正确同步 GPU,使用设备事件、独立重复运行、随机候选顺序,控制竞争负载,报告中位数和尾部分布。审计 shape、dtype、有限值、绝对/相对误差及下游质量。容差检查是经验证据,不是等价证明。
kernel 合格后,在固定模型、精度、上下文、到达模式、缓存条件与质量约束下重放留出服务负载。分别对比默认/人工配置、参数搜索、AI kernel 与完整系统,并匹配优化预算。分母保留编译失败与拒绝候选。最后进行金丝雀与回滚演练。本站没有运行 GPU 扩展;这是供读者在自己硬件上执行的验收方案。
下载 Python 实现"""Token Lab: CPU correctness gate, not a GPU performance benchmark.
Python 3.11+ standard library; no network, model API, or third-party dependency.
"""
import json
import math
import random
import sys
def reference(rows, weights, eps=1e-5):
if eps <= 0 or not weights or any(len(r) != len(weights) for r in rows):
raise ValueError('positive epsilon and rectangular nonempty rows required')
if any(not math.isfinite(x) for r in rows for x in r + weights):
raise ValueError('finite input contract')
return [[x * w / math.sqrt(eps + math.fsum(v*v for v in r)/len(r))
for x, w in zip(r, weights)] for r in rows]
def candidate(rows, weights, eps=1e-5):
output = []
for row in rows:
inv = 1 / math.sqrt(eps + math.fsum(x*x for x in row)/len(row))
output.append([x*w*inv for x, w in zip(row, weights)])
return output
def padded_bug(rows, weights, eps=1e-5):
padded = 1 << (len(weights)-1).bit_length()
return [[x*w/math.sqrt(eps + math.fsum(v*v for v in row)/padded)
for x,w in zip(row,weights)] for row in rows]
def zero_bug(rows, weights, eps=1e-5):
return [[0.0]*len(weights) for _ in rows]
def passes(fn, cases):
for rows, weights in cases:
expected, actual = reference(rows, weights), fn(rows, weights)
if len(actual) != len(expected):
return False
for a,b in zip(actual,expected):
if len(a) != len(b) or any(not math.isfinite(x) or
not math.isclose(x,y,rel_tol=1e-12,abs_tol=1e-12)
for x,y in zip(a,b)):
return False
return True
def main():
rng = random.Random(42)
dev = [([[rng.uniform(-3,3) for _ in range(n)] for _ in range(3)],
[rng.uniform(.5,1.5) for _ in range(n)]) for n in (4,8)]
# Independent shape coverage, public for teaching: NOT a secret benchmark.
audit = [([[rng.uniform(-3,3) for _ in range(n)] for _ in range(3)],
[1.0]*n) for n in (1,3,7,33)]
audit += [([[0.0,0.0,0.0]], [1.0]*3), ([[1000.,-1000.,1.]], [1.0]*3)]
results = {fn.__name__: {'development':passes(fn,dev), 'audit':passes(fn,audit)}
for fn in (candidate,padded_bug,zero_bug)}
assert results['candidate'] == {'development':True,'audit':True}
assert results['padded_bug'] == {'development':True,'audit':False}
assert results['zero_bug'] == {'development':False,'audit':False}
for bad in [([], []), ([[1.,2.]], [1.]), ([[float('nan')]], [1.])]:
try:
reference(*bad)
except ValueError:
pass
else:
raise AssertionError('invalid input accepted')
speedup = 1 / (.6 + .4/2)
assert speedup == 1.25
print(json.dumps({'python':sys.version.split()[0], 'seed':42,
'correctness':results, 'synthetic_end_to_end_speedup':speedup,
'synthetic_break_even_requests':120/.0002,
'gpu_benchmark_performed':False},indent=2))
if __name__ == '__main__':
main()
{
"python": "3.12.14",
"seed": 42,
"correctness": {
"candidate": {
"development": true,
"audit": true
},
"padded_bug": {
"development": true,
"audit": false
},
"zero_bug": {
"development": false,
"audit": false
}
},
"synthetic_end_to_end_speedup": 1.25,
"synthetic_break_even_requests": 600000.0,
"gpu_benchmark_performed": false
}
原创面试题与分层答案
1. 为什么 kernel 快两倍,端到端只有 1.25 倍?
提示:确定加速部分的占比。答案:
2. 填充错误为什么能通过开发集?
提示:观察宽度。答案:4、8 本身为二次幂,补齐前后相同。宽度 3 用 4 作分母低估平方均值,使归一化输出偏大。需要独立 shape,而不只是相同 shape 下更多数值。
3. 优化者能修改计时框架吗?
提示:分开提案与权威。答案:Agent 可添加诊断探针,但独立最终计时器不能受其控制。检查 GPU 工作真正完成、输出依赖输入、输入更新,否则缓存答案或缺少同步都可能赢分。
4. 怎样证明递归改进闭环?
提示:一个补丁不是多代研究。答案:在总预算受控的多代过程中展示留出优化收益,计入人工、搜索与资格审查成本;与获得相同额外算力的固定优化器比较。
均为原创模拟题,非公司真实面试题。1 分:识别名词;2 分:解释正常路径;3 分:推导算例并发现错误候选;4 分:设计公平负载对照与生产边界;5 分:独立复现、定位新失败,并解释不确定性与迁移局限。
相关学习路线
把基础真正讲清楚
回顾本方法依赖的共同基础,再通过算例与检查定位理解上的缺口。
自回归解码每次根据已有 token 生成一个新 token。在因果 Transformer 中,前缀和模型不变时,之前的 Key、Value 无需重新计算。KV 缓存保存的是内部张量,不是完整答案。估算容量之前,应先数清层数、batch、缓存位置数、KV 头数、头维度和每个数字的字节数。
先独立推理,再看答案
2 层、
逐步解析
2×2×1×4×2×3×2=192 字节。第一个 2 表示 K、V 两份。它不包含权重、注意力临时缓冲、分配器开销和 padding。固定其他维度时,上下文翻倍会让这部分翻倍,不表示总显存也翻倍。
为什么在应用中重要
GQA 用少于 Query 的 KV 头减少该项存储。这是架构选择,不代表可以随意删除已有模型的缓存张量。前缀复用还要求 token、位置、模型和相关执行设置一致。
怎样证明自己理解了
同一前缀比较有无缓存的输出,在数值容差内应一致;改变前缀后验证失效处理。区分有效张量字节与分配内存,分别报告 prefill 和 decode 延迟。浏览器容量计算器不是硬件吞吐基准。
运行完整 Python 算例
Python 3.10+ · 仅标准库 · 确定性计算,无需随机种子 · 不联网。保存文件后执行下方命令。这些是教学检查,不是模型基准。
下载 Python · kv.pypython3 kv.py# Python 3.10+; standard library; deterministic; no network.
def kv_bytes(layers, batch, tokens, kv_heads, head_dim, bytes_per_value):
dimensions = [layers, batch, tokens, kv_heads, head_dim, bytes_per_value]
if any(not isinstance(x, int) or x < 0 for x in dimensions):
raise ValueError("nonnegative integer dimensions required")
size = 2 # K and V
for dimension in dimensions:
size *= dimension
return size
assert kv_bytes(2, 1, 4, 2, 3, 2) == 192
assert kv_bytes(2, 1, 8, 2, 3, 2) == 384
assert kv_bytes(2, 1, 0, 2, 3, 2) == 0
print("KV payload=192 bytes; doubled context=384 bytes")
预期输出
KV payload=192 bytes; doubled context=384 bytes
基础讲解更新:
参考论文、文档与实现资料
- Together Compiler — technical report, 2026-11-04 (not claimed as conference acceptance)https://www.together.ai/together-compiler-paper
- OpenAI — engineering report, 2026-07-29https://openai.com/index/gpt-5-6-frontier-intelligence-efficiency/
- Google DeepMind — AlphaEvolve announcement, 2025-05-14https://deepmind.google/blog/alphaevolve-a-gemini-powered-coding-agent-for-designing-advanced-algorithms/
- Wafer — company profile / product positioninghttps://www.ycombinator.com/companies/wafer
- KernelBench — ICML 2025 proceedingshttps://proceedings.mlr.press/v267/ouyang25a.html
- Apple — RSI-Inference Bench official repository (checked 2026-11-11; no conference status asserted)https://github.com/apple-aiml-research/ml-rsi-inference-bench
- KernelBench — arXiv v1, 2025-02-14https://arxiv.org/abs/2502.10517v1
- KernelBench — arXiv PDF v1https://arxiv.org/pdf/2502.10517v1
- KernelBench — author codehttps://github.com/ScalingIntelligence/KernelBench
- AlphaEvolve — original technical PDFhttps://storage.googleapis.com/deepmind-media/DeepMind.com/Blog/alphaevolve-a-gemini-powered-coding-agent-for-designing-advanced-algorithms/AlphaEvolve.pdf
- Triton — official kernel tutorialshttps://triton-lang.org/main/getting-started/tutorials/
- Wafer — current product descriptionhttps://www.wafer.ai/