六个深度实验：推导目标函数、验证实现、检查失败案例，再为研究结论提供证据。
数值验证梯度，注入归约错误，区分训练不稳定和导数实现错误。
理解熵、交叉熵、两个方向的 KL，以及概率支持集不一致。
训练低秩因子、比较解析容量下界，检查初始化失败。
分析配对运行均值、不确定性和预先声明的实际改进阈值。
检查 InfoNCE、温度，以及施加给潜在假负样本的精确梯度。
记录可证伪假设、检查控制变量，并导出可审阅的实验报告。
按问题阅读，而不是只收集链接。以下为官方摘要页与 PDF；阅读建议是本站编写的学习路径，不是原论文结论的替代。
2026-10-25 已核验 PDF 链接；未锁定版本的 arXiv URL 指向当时最新修订。做严格复现时另行记录版本号。
按主题浏览论文库 →arXiv:1412.6980 · 2014
Kingma & Ba · 年份为首次 arXiv 投稿年份
建议阅读：Algorithm 1；一阶/二阶矩估计及偏差校正。
读后自测：解释为什么零初始化的矩估计需要校正。当前梯度实验使用 SGD，不是 Adam。
@misc{arxiv14126980,
title = {Adam: A Method for Stochastic Optimization},
year = {2014},
eprint = {1412.6980},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/1412.6980}
}arXiv:1711.05101 · 2017
Loshchilov & Hutter · 年份为首次 arXiv 投稿年份
建议阅读：自适应更新下 L2 正则化与解耦权重衰减的比较。
读后自测：并列写出两种更新，标出预条件缩放作用的位置。这是阅读扩展，不是已实现的 AdamW 基准。
@misc{arxiv171105101,
title = {Decoupled Weight Decay Regularization},
year = {2017},
eprint = {1711.05101},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/1711.05101}
}arXiv:1706.04599 · 2017
Guo et al. · 年份为首次 arXiv 投稿年份
建议阅读：可靠性图、校准指标与 temperature scaling。
读后自测：区分类别排序与置信度质量；温度应在验证集拟合，不用最终测试集调参。
@misc{arxiv170604599,
title = {On Calibration of Modern Neural Networks},
year = {2017},
eprint = {1706.04599},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/1706.04599}
}arXiv:2106.09685 · 2021
Hu et al. · 年份为首次 arXiv 投稿年份
建议阅读：低秩参数化、初始化与秩的实验分析。
读后自测：推导参数量和 B=0 时的首步更新；区分小矩阵实验与语言模型微调。
@misc{arxiv210609685,
title = {LoRA: Low-Rank Adaptation of Large Language Models},
year = {2021},
eprint = {2106.09685},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2106.09685}
}arXiv:2305.14314 · 2023
Dettmers et al. · 年份为首次 arXiv 投稿年份
建议阅读：冻结的量化基座、NF4、双重量化与分页优化器。
读后自测：分别核算权重、适配器、优化器状态和激活内存。网站不执行 QLoRA。
@misc{arxiv230514314,
title = {QLoRA: Efficient Finetuning of Quantized LLMs},
year = {2023},
eprint = {2305.14314},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2305.14314}
}arXiv:1807.03748 · 2018
van den Oord, Li & Vinyals · 年份为首次 arXiv 投稿年份
建议阅读：第 2.3 节 InfoNCE；附录 A.1 互信息论证。
读后自测：解释互信息下界前，先明确负样本采样假设。
@misc{arxiv180703748,
title = {Representation Learning with Contrastive Predictive Coding},
year = {2018},
eprint = {1807.03748},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/1807.03748}
}arXiv:2002.05709 · 2020
Chen et al. · 年份为首次 arXiv 投稿年份
建议阅读：框架、数据增强消融、投影头与对比目标函数。
读后自测：列出哪些增强不变性适合或损害你的领域。不能只用更低训练损失评价。
@misc{arxiv200205709,
title = {A Simple Framework for Contrastive Learning of Visual Representations},
year = {2020},
eprint = {2002.05709},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2002.05709}
}arXiv:1709.06560 · 2017
Henderson et al. · 年份为首次 arXiv 投稿年份
建议阅读：实验变异来源与报告建议。
读后自测：区分随机性、实现差异与调参差异。借鉴实验控制方法，不直接把 RL 数值结果套用到 LLM。
@misc{arxiv170906560,
title = {Deep Reinforcement Learning that Matters},
year = {2017},
eprint = {1709.06560},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/1709.06560}
}arXiv:1909.03004 · 2019
Dodge et al. · 年份为首次 arXiv 投稿年份
建议阅读：给定计算预算下的期望验证表现与模型选择。
读后自测：最终分数旁同时报告搜索空间、试验次数和选择规则。
@misc{arxiv190903004,
title = {Show Your Work: Improved Reporting of Experimental Results},
year = {2019},
eprint = {1909.03004},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/1909.03004}
}arXiv:2305.18290 · 2023
Rafailov et al. · 年份为首次 arXiv 投稿年份
建议阅读：KL 约束奖励目标、策略重参数化与偏好损失。
读后自测：识别 reference policy 对数比与 β。当前信息论实验讲解 KL，不是 DPO 训练器。
@misc{arxiv230518290,
title = {Direct Preference Optimization: Your Language Model is Secretly a Reward Model},
year = {2023},
eprint = {2305.18290},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2305.18290}
}arXiv:1706.03762 · 2017
Vaswani et al. · 年份为首次 arXiv 投稿年份
建议阅读：缩放点积注意力、掩码、多头注意力与位置编码。
读后自测：先推导张量维度与掩码，再解释注意力热力图。
@misc{arxiv170603762,
title = {Attention Is All You Need},
year = {2017},
eprint = {1706.03762},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/1706.03762}
}arXiv:2205.14135 · 2022
Dao et al. · 年份为首次 arXiv 投稿年份
建议阅读：分块、在线 softmax、重计算与 IO 复杂度。
读后自测：解释减少 HBM 访问如何加速精确注意力；浏览器不对 GPU 内核做基准测试。
@misc{arxiv220514135,
title = {FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness},
year = {2022},
eprint = {2205.14135},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2205.14135}
}arXiv:2210.03629 · 2022
Yao et al. · 年份为首次 arXiv 投稿年份
建议阅读：推理与动作交替轨迹，以及不同提示方法的比较。
读后自测：在工具权限和动作预算一致时比较成功率。模拟工具轨迹不能证明 LLM 策略效果。
@misc{arxiv221003629,
title = {ReAct: Synergizing Reasoning and Acting in Language Models},
year = {2022},
eprint = {2210.03629},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2210.03629}
}arXiv:2306.05685 · 2023
Zheng et al. · 年份为首次 arXiv 投稿年份
建议阅读：裁判偏差、与人工的一致性及评测集构建。
读后自测：采用交换顺序的比较与标注审计；一致性不等于正确性。
@misc{arxiv230605685,
title = {Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena},
year = {2023},
eprint = {2306.05685},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2306.05685}
}arXiv:1707.06347 · 2017
Schulman et al. · 年份为首次 arXiv 投稿年份
建议阅读：结合方法、实验协议与局限阅读。
读后自测：什么受控实验能够证伪能力提升主张？
@misc{arxiv170706347,
title = {Proximal Policy Optimization Algorithms},
year = {2017},
eprint = {1707.06347},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/1707.06347}
}arXiv:2203.02155 · 2022
Ouyang et al. · 年份为首次 arXiv 投稿年份
建议阅读：结合方法、实验协议与局限阅读。
读后自测：什么受控实验能够证伪能力提升主张？
@misc{arxiv220302155,
title = {Training language models to follow instructions with human feedback},
year = {2022},
eprint = {2203.02155},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2203.02155}
}arXiv:2501.12948 · 2025
DeepSeek-AI · 年份为首次 arXiv 投稿年份
建议阅读：结合方法、实验协议与局限阅读。
读后自测：什么受控实验能够证伪能力提升主张？
@misc{arxiv250112948,
title = {DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning},
year = {2025},
eprint = {2501.12948},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2501.12948v1}
}本地计算与合成示例，不调用付费 API，不代表真实大模型基准。