1. 记录检查通过是否证明可复现？
查看参考答案与评分要点
不能。它只检查内部声明，还需验证代码、数据版本、环境、实际执行及与目标协议的一致性。
论文复现工作台
记录可证伪假设、检查控制变量，并导出可审阅的实验报告。
本地计算与合成示例，不调用付费 API，不代表真实大模型基准。学习指南与本课目录
LEARNING CONTRACT理解 → 实现 → 研究
目标：解释本课机制、复现一个例子、测试一个失败案例。读完不自动代表掌握。
- 理解层：写明假设、形状/单位和一个反例。
- 实现层：复算数值例子并检查边界。
- 研究层：在匹配预算下比较一个替代方法。
01 · 理解与推导
前置知识 · 实验控制、版本记录与配对指标。
复现结论需要论文、实现、数据与观察之间可追踪的关系。工作台检查声明字段、预算一致性和顶层配置变化项，但不认证这些声明是否真实。
Text / 原始公式
Hypothesis → baseline → one-factor intervention → paired runs → uncertainty → limitations Required: paper, hypothesis, metric, direction, threshold, datasetVersion, splitHash, baseline, treatment, runs
逐步推导与研究解释
- 选择论文中一个可证伪主张，定义什么观察会反驳它。区分精确复现、声明偏离的近似复现，以及泛化检验。
- 固定数据与划分标识、实现 commit、环境、评测脚本、检查点选择和搜索预算。同时记录失败、排除项与成功运行。
- 记录文件校验的是声明的一致性，不是来源真实性。预算数值相同不证明计算量相同，一个顶层 JSON 键变化也可能隐藏多项干预。
常见误区：不能因为检查表全绿就宣称复现成功；应将真实协议与观察结果和原论文主张比较。
02 · 检查知识掌握
基线与实验组共享种子 [1,2,3,4,5]，分析中共有多少个配对运行观测？
查看推导
Five pairs, not ten independent paired observations.
03 · 运行对照实验
实验任务
用真实标识替换示例元数据，粘贴配对种子结果，再增加第二项配置变化或制造预算不一致。导出报告，解释哪些问题仍需人工审查。
可执行的对照实验流程
- 用真实协议替换示例论文和元数据，填写真实数据版本、源码 commit，并明确指标方向。
- 粘贴独立配对运行均值，改变预算或第二个顶层配置项检查审查标记，并在报告中解释合理偏离。
- 导出 JSON 和 Markdown，另附原始日志，记录主张、方法、控制、不确定性、失败案例及证据能支持的最窄结论。
交付物：输入配置、结果导出、控制变量说明、观察结果、替代解释及下一步验证。
查看提示
相同步数不一定意味着相同计算量。这里的哈希与 commit ID 只是声明，只有阅读论文并检查真实数据划分后，才能讨论复现是否成功。
04 · 检查证据
运行实验后查看证据。
仅比较控制变量后的运行结果，导出包含输入与方法。
05 · 解释研究判断
自评要点：解释机制、识别假设、提出可区分不同解释的实验。不使用 LLM 自动评分。
2. 应如何报告未能复现的结果？
查看参考答案与评分要点
记录尝试的协议、偏离、预算、不确定性与失败假设；不要隐藏无效结果，也不要直接断言原结论错误。
3. 可复现与泛化有什么区别？
查看参考答案与评分要点
可复现是在指定设置下重复结果；泛化则检验结果是否适用于不同数据、环境或任务。
假设与限制
不抓取论文、不运行云端训练、不验证来源。内置数据为合成示例。嵌套配置按顶层键统计变化，一个键内可能隐藏多项因果变化，仍需人工审查。
参考资料
arXiv:1709.06560 · 2017
Deep Reinforcement Learning that Matters
Henderson et al. · 年份为首次 arXiv 投稿年份
建议阅读：实验变异来源与报告建议。
读后自测：区分随机性、实现差异与调参差异。借鉴实验控制方法，不直接把 RL 数值结果套用到 LLM。
BibTeX
@misc{arxiv170906560,
title = {Deep Reinforcement Learning that Matters},
year = {2017},
eprint = {1709.06560},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/1709.06560}
}arXiv:1909.03004 · 2019
Show Your Work: Improved Reporting of Experimental Results
Dodge et al. · 年份为首次 arXiv 投稿年份
建议阅读：给定计算预算下的期望验证表现与模型选择。
读后自测：最终分数旁同时报告搜索空间、试验次数和选择规则。
BibTeX
@misc{arxiv190903004,
title = {Show Your Work: Improved Reporting of Experimental Results},
year = {2019},
eprint = {1909.03004},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/1909.03004}
}假设、参考实现与验收
不抓取论文、不运行云端训练、不验证来源。内置数据为合成示例。嵌套配置按顶层键统计变化，一个键内可能隐藏多项因果变化，仍需人工审查。
已复核目标、导数、算例及实现。通过有限差分或清单检查不代表完成论文复现。
运行前：预测一个边界情况
用真实标识替换示例元数据，粘贴配对种子结果，再增加第二项配置变化或制造预算不一致。导出报告，解释哪些问题仍需人工审查。
提示：隔离假设
固定基线输入，只改变一个参数或边界；同时比较数值与声明单位。单例通过仅验证该样例。
最小可运行算例
将算例及所链接模块保存在同一目录。使用 Node.js 22 或更高版本，然后运行 node paper-reproduction.mjs. 无需第三方运行依赖。
import {runPhd} from './phd-core.mjs';
const params={
"manifest": "{\n \"paper\": \"https://arxiv.org/abs/2106.09685\",\n \"hypothesis\": \"Increasing rank improves a held-out metric at matched training budget.\",\n \"metric\": \"accuracy\",\n \"direction\": \"higher\",\n \"threshold\": 0.01,\n \"datasetVersion\": \"toy-v1\",\n \"splitHash\": \"demo-split-not-a-real-hash\",\n \"baseline\": {\n \"config\": {\n \"rank\": 2,\n \"learningRate\": 0.1\n },\n \"budget\": 1000,\n \"budgetUnit\": \"optimizer steps\"\n },\n \"treatment\": {\n \"config\": {\n \"rank\": 4,\n \"learningRate\": 0.1\n },\n \"budget\": 1000,\n \"budgetUnit\": \"optimizer steps\"\n },\n \"environment\": {\n \"codeCommit\": \"fill-with-real-commit\",\n \"runtime\": \"record exact runtime\",\n \"hardware\": \"record device\"\n },\n \"runs\": [\n {\n \"seed\": 1,\n \"a\": 0.72,\n \"b\": 0.75\n },\n {\n \"seed\": 2,\n \"a\": 0.74,\n \"b\": 0.76\n },\n {\n \"seed\": 3,\n \"a\": 0.71,\n \"b\": 0.75\n },\n {\n \"seed\": 4,\n \"a\": 0.75,\n \"b\": 0.76\n },\n {\n \"seed\": 5,\n \"a\": 0.73,\n \"b\": 0.76\n }\n ]\n}"
};
console.log(runPhd('paper-reproduction',params));测试与迁移
用真实标识替换示例元数据，粘贴配对种子结果，再增加第二项配置变化或制造预算不一致。导出报告，解释哪些问题仍需人工审查。
在下方笔记记录输入、代码版本、期望值和实测值；再构造违反上述假设的反例，解释原结论为何不再成立。
下载完整代码包（.tar.gz） · 完整参考代码与回归检查预测、检验与证据记录
展开答案前先预测一个结果；练习后记录差异和迁移测试。记录仅存本地，在不同语言版本间共用。
打开记录／导出／清除 →数学复核范围逐篇记录，不代表完成论文实证复现；可在笔记中记录疑似错误。 复核范围