LLM-as-a-judge：先评估评审者
区分答案偏好与正确性，观察顺序效应如何改变胜率。
Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena · Zheng et al. · arXiv:2306.05685
Token Lab 原创学习解读 · 来源核对 2026-10-25 · 区分论文主张与合成教学例子。
01 · 论文提出了什么
论文研究强语言模型作为评审者，并介绍 MT-Bench 与 Chatbot Arena 评测。它分析位置、冗长度和自我偏好等偏差，将判断与人类偏好比较。对应设置中的一致性不是普遍正确性保证。
一手来源：论文摘要 ↗学习指南与本课目录
LEARNING CONTRACT理解 → 实现 → 研究
目标：解释本课机制、复现一个例子、测试一个失败案例。读完不自动代表掌握。
- 理解层：写明假设、形状/单位和一个反例。
- 实现层：复算数值例子并检查边界。
- 研究层：在匹配预算下比较一个替代方法。
02 · 核心机制
Text / 原始公式
Tie-adjusted win rate = (wins + 0.5×ties)/comparisons Order sensitivity = mean[decision(A,B) ≠ mapped decision(B,A)] Always map judgments back to candidate identity.
评审者也是具有失效模式的测量仪器。偏好可能奖励文风而非事实，流畅解释不证明评分规则有效。交换答案顺序是一种控制：先把标签映射回同一候选，再检查一致性。同一题目的重复评审是相关观测。
符号与直觉为教学解释，完整假设及实现细节请对照原论文方法。
机制图与逐步推导
| 符号 | 含义 |
|---|---|
| w, t, n | 获胜、平局及比较次数 |
| mapped(B,A) | 交换位置后映射回原身份的判断 |
| item ID | 检测配对不一致所需题目标识 |
- 十题中 A 赢 6、平 2、输 2，平局半分胜率为 (6+0.5×2)/10=0.7，平局约定需明确。
- 边际胜率相等不代表判断一致。四题原赢家 [A,A,B,B]，交换并映射后的赢家 [B,B,A,A]，A 都是 50%，但每一题都翻转。
- 先按题目配对计算一致性，再汇总。分析分歧是否集中在数学、长回答、证据缺失或特定 judge 提示。
保留原始标签、解析失败与平局，不要悄悄丢弃难例，也不要把一致性当事实正确。
改变一个变量，解释结果为什么变。
原创教学计算，并非论文 benchmark 复现。条形在面板内相对缩放，具体数值与单位以标注为准。
04 · 手算一个例子
原创示例：100 道配对题各评审两次。A 在前时赢 70 次，交换后映射回身份，A 赢 50 次，均衡边际胜率为 60%。仅凭总数无法识别有多少逐题判断翻转，需保留逐题结果测量真实不一致。滑块只改变第二组边际胜数。
05 · 设计实验
创建盲评规则与人工标注审计子集。随机答案顺序，加入交换对，固定 judge 版本并保存原始输出。跟踪平局、解析失败、冗长度差异及正确性分歧。按题目而非重复调用做 bootstrap。检验差异是否改变真实部署决策。
写出一个假设，保存配置与原始结果，提出替代解释，只报告证据支持的结论。关联实验是本地起点，不是完整论文复现。
打开关联课程／实验 →06 · 局限与审稿式追问
分析提醒：与人类一致不等于事实真实，人类也存在分歧。在一个领域验证的 judge 可能在其他领域失败。交换顺序取平均可缓解顺序不平衡，但不能修复系统性错误的评分规则。
为什么相同边际胜率仍可能掩盖严重不一致？
不同题目可能向相反方向翻转，并在总数中抵消。只有逐题配对判断能发现这种模式，汇总胜数丢弃了必要信息。
07 · 阅读原文
偏差分析与人类一致性实验；检查提示、judge 与投票协议。
年份采用首次 arXiv 投稿年份。未锁定版本的链接随修订变化，复现报告请记录准确版本。此处 DeepSeek-R1 明确固定为 v1。
继续学习本主题
校准：预测正确，与知道自己多大概率正确
调整温度而不改变类别排序，理解为什么一个置信度不能证明校准。
Guo et al. · arXiv:1706.04599
Deep RL that Matters：分数背后是分布
宣称改进前，先分离种子波动、实现选择和模型选择。
Henderson et al. · arXiv:1709.06560
Show Your Work：比较搜索预算，而不只比较赢家
更好的最佳分数可能来自更多尝试；把选择过程也作为结果展示。
Dodge et al. · arXiv:1909.03004