Adam：理解更新过程，而不只会使用默认参数
两个移动平均如何改变训练问题的几何形状？从第一次更新入手，观察偏差校正的作用。
Kingma & Ba · arXiv:1412.6980
论文资料库
17 篇论文，七大主题。每篇将原论文主张连接到手算示例、交互讲解与可证伪实验。
优化与训练
梯度如何改变参数，正则化为什么改变训练结果。
AdamW：权重衰减加在哪里，结果就会不同
区分损失惩罚与参数收缩，用不相等的预条件系数检验差异。
Loshchilov & Hutter · arXiv:1711.05101
注意力与高效推理
从 token 之间的交互，到 GPU 内存访问。
Transformer：把 token 匹配程度变成信息流
跟踪 Q、K、V，解释因果注意力的一行，并区分并行训练与自回归生成。
Vaswani et al. · arXiv:1706.03762
FlashAttention：除了 FLOPs，还要算数据搬运
理解不保存注意力矩阵为何重要，并逐块重建 softmax。
Dao et al. · arXiv:2205.14135
高效微调与对齐
低秩更新、量化基座与偏好目标函数。
LoRA：约束的是更新，而非整个模型
分解权重更新、计算可训练参数，并解释第一次梯度的不对称性。
Hu et al. · arXiv:2106.09685
QLoRA：显存预算不能只看权重位宽
区分存储权重、计算精度、适配器与训练状态，建立完整内存账本。
Dettmers et al. · arXiv:2305.14314
DPO：通过相对对数概率学习偏好
推导成对偏好 margin，并观察 β 对单个偏好样本的影响。
Rafailov et al. · arXiv:2305.18290
表示与对比学习
什么是正样本对，表示应该保留什么信息。
CPC：通过辨认正确未来学习表示
把对比预测看作分类问题，并检查负样本采样隐含的假设。
van den Oord, Li & Vinyals · arXiv:1807.03748
SimCLR：数据增强定义了“相似”
跟踪两个视图经过共享编码器与投影头，并审查这种不变性是否合理。
Chen et al. · arXiv:2002.05709
评测与可复现研究
校准、评审模型、不确定性与公平计算预算。
校准：预测正确，与知道自己多大概率正确
调整温度而不改变类别排序，理解为什么一个置信度不能证明校准。
Guo et al. · arXiv:1706.04599
Deep RL that Matters：分数背后是分布
宣称改进前，先分离种子波动、实现选择和模型选择。
Henderson et al. · arXiv:1709.06560
Show Your Work：比较搜索预算，而不只比较赢家
更好的最佳分数可能来自更多尝试；把选择过程也作为结果展示。
Dodge et al. · arXiv:1909.03004
LLM-as-a-judge：先评估评审者
区分答案偏好与正确性，观察顺序效应如何改变胜率。
Zheng et al. · arXiv:2306.05685
Agent 与工具调用
将观察转化为行动，再检验整个闭环。
ReAct：让行动与观察形成闭环
跟踪外部证据闭环，并加入研究演示不会自动提供的运行边界。
Yao et al. · arXiv:2210.03629
强化学习与推理
从策略更新到反馈驱动的语言模型改进。
PPO：逐样本看懂裁剪目标
理解 advantage 符号、rollout 策略比及裁剪的边界。
Schulman et al. · arXiv:1707.06347
InstructGPT：改变训练信号，改变模型行为
连接示范、偏好标签、奖励学习与策略优化。
Ouyang et al. · arXiv:2203.02155
DeepSeek-R1：奖励、推理与证据边界
分开研究 R1-Zero 和 R1，再设计推理提升的受控检验。本文固定解读 arXiv v1。
DeepSeek-AI · arXiv:2501.12948