Token Lab搜索

SYSTEMS / ENGINEERING BRIDGE

从论文机制到推理工程

三个工程专题,包含推导、失败案例与可复现实验规范。

KV 内存、分页与服务时限 →

区分分配效率、模型计算与排队延迟。

投机解码:先证明正确,再讨论加速 →

用双 token 例子推导接受概率与残差采样。

MoE:激活计算量不等于总内存 →

审计路由、容量、通信与专家负载不均衡。

系统课程与检查点 →工程专题目录 →