校准：预测正确，与知道自己多大概率正确
调整温度而不改变类别排序，理解为什么一个置信度不能证明校准。
On Calibration of Modern Neural Networks · Guo et al. · arXiv:1706.04599
Token Lab 原创学习解读 · 来源核对 2026-10-25 · 区分论文主张与合成教学例子。
01 · 论文提出了什么
论文研究现代分类器的置信度校准，并评估后处理方法；温度缩放在其许多实验中有效。校准是预测与结果之间的统计关系，不能靠单个样本建立。
一手来源：论文摘要 ↗学习指南与本课目录
LEARNING CONTRACT理解 → 实现 → 研究
目标：解释本课机制、复现一个例子、测试一个失败案例。读完不自动代表掌握。
- 理解层：写明假设、形状/单位和一个反例。
- 实现层：复算数值例子并检查边界。
- 研究层：在匹配预算下比较一个替代方法。
02 · 核心机制
Text / 原始公式
pᵢ(T)=exp(zᵢ/T)/Σⱼ exp(zⱼ/T), T>0 T* = argmin_T validation NLL ECE = Σ_b (|B_b|/n) |accuracy(B_b)−confidence(B_b)|
正温度缩放保留 logit 顺序，因此 top 类别不变，但概率分布集中程度改变。检验校准需将许多相近置信度预测分组，比较平均置信度与实际正确比例。分箱边界与样本量影响结果，ECE 不能单独作为完整诊断。
符号与直觉为教学解释，完整假设及实现细节请对照原论文方法。
机制图与逐步推导
| 符号 | 含义 |
|---|---|
| T>0 | 正校准温度 |
| z | 未归一化类别 logits |
| B_b | 包含真实结果的置信度分箱 |
- 正数缩放保留 logit 顺序，因此 top-1 预测不变而置信度改变，这是顺序保持的直接结果。
- [2,1,0] 的 top 置信度由
时 0.665241 变为 时 0.506480。是否改善取决于许多样本的实际正确频率。 - 合成 ECE：50 个样本平均置信度 0.8、准确率 0.6，另 50 个置信度和准确率均 0.6。加权绝对差为 0.5×0.2+0.5×0=0.1。
记录分箱样本数与划分标识，不能用最终测试标签选择 T。
改变一个变量，解释结果为什么变。
原创教学计算，并非论文 benchmark 复现。条形在面板内相对缩放，具体数值与单位以标注为准。
04 · 手算一个例子
原创算例：[2,1,0] 在
05 · 设计实验
使用独立训练集、校准集与测试集。按校准集 NLL 拟合正温度 T，固定后在测试集评价。除准确率外，报告 NLL、Brier score、可靠性图与分箱样本数。再在偏移数据集上不重新拟合地评价，检查校正能否迁移。
写出一个假设，保存配置与原始结果，提出替代解释，只报告证据支持的结论。关联实验是本地起点，不是完整论文复现。
打开关联课程／实验 →06 · 局限与审稿式追问
分析提醒：降低置信度不自动等于改善校准，原本低估置信度的分类器可能更差。全局温度不能修复所有类别特异误差或分布偏移，任务决策阈值需单独验证。
为什么准确率不变，负对数似然却改善？
准确率只看最大概率类别；NLL 使用真实类别被分配的概率，因此重新分配概率质量可以改善 NLL，而不改变 argmax。
07 · 阅读原文
校准指标、可靠性图和温度缩放；检查留出集的使用方式。
年份采用首次 arXiv 投稿年份。未锁定版本的链接随修订变化，复现报告请记录准确版本。此处 DeepSeek-R1 明确固定为 v1。
继续学习本主题
Deep RL that Matters：分数背后是分布
宣称改进前，先分离种子波动、实现选择和模型选择。
Henderson et al. · arXiv:1709.06560
Show Your Work：比较搜索预算，而不只比较赢家
更好的最佳分数可能来自更多尝试；把选择过程也作为结果展示。
Dodge et al. · arXiv:1909.03004
LLM-as-a-judge：先评估评审者
区分答案偏好与正确性，观察顺序效应如何改变胜率。
Zheng et al. · arXiv:2306.05685