递归自我改进全景:机制、证据与可信闭环工程
系统梳理 RSI 的自训练、记忆、代码进化、元改进、前沿论文、独立评判架构与可复现本地实践。
来源与版本详情
读完应能识别可编辑组件,解释反馈如何转为持久变化,追踪可审计架构,区分真实收益与选择效应,并设计有边界的改进研究。机制前先解释所需基础。
本文目录
1. AI 自我改进时,究竟改变了什么?
设想一个编程助手总是不检查仓库就直接修改文件。让它反思一次,可能只修好一个补丁;保存“先检查仓库”的操作记忆,可能改善下一次会话;用成功修复记录训练,可能改变模型权重;重写搜索策略,则可能改变以后寻找改进的方法。这些干预的持久性、成本和证据要求完全不同。
递归自我改进(RSI)指 AI 系统参与对自身的修改,而且改进后的版本继续参与下一轮改进。更强的可操作定义要求:改进机制本身也是改进对象。新系统不只是某道题做得更好,还应更有效地发现有用的后续改变。本文把这个更强的主张与普通迭代区分开来;不存在一个公认阈值,能把所有自修改程序自动变成通用 RSI。
把系统拆成权重 θ、执行代码 c、提示 p、记忆 m 和工具 T,另列改进程序 I 与评判器 E。必须说明什么能变、由谁改变、哪些结果持久保存、由谁判定成功。助手改文件不等于改权重;更新权重不等于改善训练算法。“智能爆炸”还需要持续加速增长的额外假设,不能与这些机制画等号。
追踪一个改变如何跨越两代
假设 A 版按文件名搜索仓库,提出的 B 版增加符号检索。如果 B 只修好了眼前这个 bug,证据只支持任务解法改善;如果 B 被保存并修复后续 bug,才支持可复用的智能体改善;如果 B 再利用符号检索定位自身改进代码的缺陷,并提出 C,记录下来的过程才具有递归性。还必须以相同资源比较 B 与 A 产生的后代,才能说明改进能力提高。这些主张的证据要求逐级增加,不能仅凭存在自编辑命令就全部成立。
数“代”之前先确定系统边界。基础模型冻结而工具变化,整个 AI 系统仍可能变化;反过来,人在两轮之间替换基础模型属于外部干预,必须单独报告。人工修改、模型替换、评判器改变应分别记账,防止把它们的收益错误归因于自主改进。
2. 理解基础:学习、反馈与继承
优化是在某个目标下寻找更好的改变;泛化是在没有参与选择的案例上仍然有效。两者不同:搜索过程完全可能把错误目标优化得非常好。梯度表示可微损失对参数的局部敏感度;修改 Python 的智能体通常是在离散程序空间中搜索。无论哪种方式,都不保证目标和数据之外的行为变好。
反馈提供行动后果的信息。编译错误指出具体失败;测试通过只覆盖已有断言;偏好评分反映评分者偏好。“我认真反思了”不是独立反馈。继承则要求权重、记忆、代码或算法真正进入下一代。没有继承,多次成功尝试只是重复推理,不是系统改变的积累。
因此,版本管理是理解问题的基础设施。父版本哈希、候选差异、数据快照和评判器版本,让“究竟哪里改善了”能够回答。贯穿本文的是仓库修复智能体:允许改变搜索策略,决定检查哪些文件和工具;基础模型、权限和外部接受规则保持固定,从而把收益归因到有限机制,而非含糊的整体升级。
为什么正确的信号也可能教错东西
一个测试如果只检查函数返回的列表是否有序,却不检查是否保留原有元素,那么总返回空列表的候选就可能通过粗糙的“有序性”判断。奖励确实发生了,但规格不完整。增加“输出是输入的排列”检查才补充了缺失信息;要求候选围绕原有不完整测试多反思,并没有补足信息。因此,任务理解、规格与反馈质量应放在优化之前。
继承也有作用域。以某个仓库标识保存的记忆,不应自动变成全局规则;成功修复可能依赖特定库版本。保存规则时同时保存适用条件,检索时核对条件;后续出现矛盾证据,应更新或使旧记忆失效,而不是继续追加互不兼容的规则。
3. 历史:逐渐开放的改进回路
反馈控制根据误差信号改变动作,却不一定学会新的控制器。进化搜索保留、组合候选,变异和选择规则仍可由人固定。AutoML 搜索模型或流水线配置;元学习在多个任务上学习一种学习过程。这些都可成为 RSI 的组件,但出现这些组件不等于改进机制已经能自我改进。
Schmidhuber 的 Gödel Machine 要求先在编码的假设下证明自修改有用,再执行修改。这是证明条件严格的理论构造,不是 LLM 补丁的实用保证 [1]。现代系统常把证明换成实证,这使实现可行,却也降低了结论强度:成功只对使用过的任务、测量工具和预算有条件地成立。
因此历史不是“后来的论文全面替代前者”的阶梯。推理修订、合成训练数据、智能体记忆、代码进化、算法发现修改的是不同载体。它们可以组合,例如代码搜索提出新数据过滤器,再通过训练生成新模型;组合系统也会继承每一阶段的成本和失败模式。
三个坐标比炒作时间线更有用
按可编辑搜索空间、反馈来源、外层循环所在位置给历史系统分类。超参数搜索可以探索几百万种配置,但搜索规则仍固定;学习型优化器改变更新规则,元训练过程仍可能由人设计;自编辑智能体可改变搜索代码,却保留固定接受控制器。它们推进不同坐标,而不是位于同一条万能的智能刻度上。
证明与测量的区别也决定失败方式。证明依赖公理和形式化目标;实证依赖覆盖范围与测量完整性。对错误目标的完美证明不能解决真实问题,大幅实测提升也不是证明。实际系统可以对狭窄不变量使用形式化检查,对更广行为使用实证,两者组合而不相互冒充。
4. 五类机制:什么被保留下来
第一类是输出修订:交替生成、批评和修改。Self-Refine 是代表,权重不变 [3],留下来的可能只是最终回答。批评能指出可修复遗漏时有用,但也可能把正确答案改成更有说服力的错误。
第二类是记忆适应:保存经历,之后检索。Reflexion 用语言反馈而非权重更新 [4]。好的记忆应写明失败条件、行动和适用范围。“总要重试”遇到扣款操作会造成重复收费。记忆需要过期、来源与冲突处理,而不只是不断变长的聊天记录。
第三类是权重改进:生成或筛选训练材料,再优化参数。STaR 将生成的推理与答案监督连接 [2];Self-Rewarding 还生成偏好信号 [6]。这种变化可跨会话持续,但答案正确不代表每一步推理正确;筛选也会改变分布,删除稀有能力。
第四类修改智能体代码,包括编排、工具与搜索,DGM 提供了实证案例 [7]。第五类进一步修改候选提出、选择或学习算法本身。要区分四、五两类,应固定下游任务和预算,看新改进器能否产生更好的后代。某个名叫 improve 的函数变了,并不足以证明元改进。
选择能解决故障的最小层
如果缺的是仓库事实,检索可能就够了;如果总忘记稳定操作流程,可尝试有作用域的记忆;若大量上下文中广泛行为持续不佳,才考虑权重更新;若问题在工具顺序或上下文截断,就改运行框架;若搜索反复提出没有信息价值的改变,就检查改进器。这样可以避免用昂贵重训练掩盖简单编排缺陷。
各层会互相作用。更强模型可能使旧的冗长提示失去必要性;记忆能帮助一个任务,也会挤占另一个任务的上下文。除单组件变化,还应比较组合。改完框架再删除记忆,与从原系统删除记忆并非相同干预。必须明确参考状态,记录交互,而不能假定各项独立收益能线性相加。
5. 合成数据怎样改变权重
假设修复智能体为开发题生成多个方案,验证器选出符合现有规格的方案。监督微调提高其 token 序列的概率。公式中 x 是问题与上下文,y 是选中方案,y<j 是此前 token 前缀;求和覆盖输出 token,是否按长度归一化会影响长答案的权重。模型学习的是被筛选后的分布,而不是抽象的“真理”。
如果选择规则偏爱简单短题,下一轮数据中的简单题会越来越多。训练损失下降时,难题可能已经消失。应混合真实数据、经过检查的合成样本和受保护的保留能力任务。先按问题家族去重再划分数据;只改变量名并不会生成独立样本。每条样本记录生成模型、提示、验证器与父版本。
偏好优化比较被选中与被拒绝的回答。DPO 相对参考策略扩大两者的对数概率差;β 控制尺度,不代表安全保证。同一模型既出题作答又评分时,风格偏好和共同盲点会互相强化,因此外部答案检查、独立人工审查或校准过的评判器仍有价值。保持优化器不变的反复微调属于迭代学习,不能证明优化器得到改进。 [17]
用小算例看清筛选偏差
假设 100 道开发题生成 400 个方案,其中 80 个通过验证。训练集有 80 个方案,不是 400 次独立成功。如果这 80 个方案只来自 20 道简单题,对其余 80 道题仍缺少证据。每个通过方案等权,还会让通过变体较多的题占更大权重。按题设上限或明确采样权重可以缓解不均衡,但必须记录具体策略。
对一组偏好,假设选中回答相对参考策略的概率比为 2,拒绝回答为 0.5,两者对数比之差就是 log(4)。
6. 端到端架构:让裁判保持独立
下图是 Token Lab 的参考设计,不是任何厂商内部架构。控制器从版本档案选父版本,把有预算限制的开发任务交给改进器。改进器返回补丁与预期修改清单;工作节点在一次性副本上应用补丁,输出执行轨迹和候选产物。工作节点不能自行晋级。
独立评判器读取候选产物并执行自己的检查。接受报告必须绑定产物哈希,不能因为候选打印 PASS 就相信它。发布控制器核对绑定关系、约束和授权,然后在自己的注册表中原子切换活动版本指针。这并不让训练、对象存储和部署成为跨系统原子事务:应先写入不可变完整产物,再让指针引用它。
拒绝的候选也要保存原因和成本。被接受的版本可成为下一轮父版本,但部署金丝雀仍是独立决策。金丝雀失败时恢复旧指针并排空在途任务。复用任务标识能让记账幂等,却不代表重试模型调用不会重复收费。超时必须取消工作节点并记录“不完整”,不能默认成功。图中区分提案流、评判证据和发布权限。
追踪产物身份,而不只是箭头
对修复任务 J,控制器记录父版本哈希 P 与数据快照 D;工作节点返回候选哈希 C。评判报告必须关联 J、P、C、D 及评判器版本 E。实际部署产物若哈希不同,报告就不能证明它合格。因此发布控制器不仅校验分数,还要校验身份。早期候选的旧报告不能授权最新补丁。
若工作节点上传 C 后、记录完成前崩溃,对账程序可发现不可变产物并恢复评判,但不能从“对象存在”推断已接受。两个工作节点重复完成同一任务时,用任务/候选唯一键避免重复晋级。取消是另一件事:取消任务可能留下有用产物,但在新的授权决定之前,它仍未被接受。
7. 为什么不能只保留胜出的单一路径
贪心改进器只保留立即超过父版本的后代,可能丢掉有用的中间台阶:新的文件搜索工具起初增加 token,却能帮助后续修复。档案保留不同版本,允许回头探索。父版本选择需在利用优秀候选和探索较少尝试的方向之间取舍。多样性并非天然有益,它消耗评判预算,也需要有意义的行为描述。
DGM 用基础模型修改智能体代码,并保存变体档案。论文 v3 的 SWE-bench 设置使用 Claude 3.5 Sonnet(New),80 轮后在其 200 题设置上从 20.0% 到 50.0%,不是完整公开榜单成绩。完整 Polyglot 的比较为 14.2% 到 30.7%,评判执行使用 o3-mini。作者估计一次 SWE-bench 运行约 22,000 美元,对照消融各约 10,000 美元 [7]。这些是作者结果与估算,不是本站测量,也不是等美元比较。
关键是记录整棵搜索树,不能从最佳终点推断加速。如果每代尝试十个后代,稳定进步可能只是更大算力下的选择效应。应将父版本选择规则与可编辑智能体分开;外层循环保持固定,会限制实验能够支持哪种递归主张。
可以保留台阶,而不把它部署出去
一个变体的解析器更好、规划器却更慢,可能值得用于研究,却不适合生产。因此“进入档案”和“获准部署”必须是两个操作。行为描述可以区分符号搜索、测试驱动定位、依赖图探索;应因变体提供不同且有用的搜索行为而保留,而非源文件看起来不同。
档案增长有成本。保存产物谱系和摘要,去除等价候选,限制重新评判预算。曾经有用的变体可能与新工具或数据不兼容,再选为父版本前应核对原有假设。档案保存的是“哪些方法可能有用”的假说,不是永久认证赢家的博物馆。
8. 改进的数学:收益、成本与极限
实用目标是向量:目标能力、保留能力、延迟、成本与风险。标量效用可用于排序可行候选,但强制安全和授权约束应放在标量之外,否则足够高的任务分数就能抵消违规行为。必须明确单位:质量差是百分点;美元、GPU 秒、输入与输出 token 是不同账本。
对同一题的成对二元结果,令 dᵢ 等于候选成功减去父版本成功,因此只取 −1、0、1。均值估计该任务分布上的能力差;标准误依赖成对差值的波动,不能误用两个独立二项分布。重复运行、同源任务聚类、适应性候选选择会让这个估计更复杂,所以公式是教学近似,不是通用晋级定理。
若要主张加速,必须计算单位总资源的改进量,包括失败后代和验证成本。把下一轮收益写成能力、资源和环境的函数 g,递归本身并不强迫 g 增长:容易的改进会用完,验证更贵,数据质量下降,物理算力有限。连接三个胜出检查点的曲线不能识别指数增长规律。固定成本下出现平台期也是需要报告的重要结果。
把分母说得和收益一样明确
一个虚构预算例子:十个候选各需生成 2 计算小时、验证 1 小时。即使只保留一个,搜索仍消耗 30 小时。接受后代提高 3 个百分点,观察到的产出率是每计算小时 0.1 点,不能只算赢家自身 3 小时而说每小时 1 点。跨系统比较时,还必须匹配硬件、模型和任务分布。
还要区分绝对与相对变化:准确率从 60% 到 65%,绝对增加 5 个百分点,相对准确率提高约 8.33%;失败率从 40% 到 35%,相对错误下降 12.5%。三者描述同一结果,选择听起来最大的数字只改变表达,不改变证据。报告原始计数和分母,读者才能复算。
9. 前沿:四个不同的研究瓶颈
算法发现不等于通用自主升级。AlphaEvolve 用评判器搜索可执行算法,Google DeepMind 报告了基础设施与数学应用 [8]。关键边界是规格:在正确性约束下优化内核,比决定自治系统应服从什么社会目标窄得多。若验证一个构造比找到它便宜,搜索就更有吸引力。
近期研究分离了不同的缺失能力。PAST-Bench 用 26 个场景、204 个片段研究跨新会话保留经验 [10]。AI4AI-Bench 研究训练算法修改:十个仓库,每题一张 B300、四小时开发,再从头复跑至多十二小时 [11];其归一化分数不是准确率。AIDE² 报告八天研究智能体运行中的七次接受改进及留出基准迁移 [12]。Flex-RSI 在固定预算下区分任务答案修改与执行器、改进器框架的修改 [13]。这些是锁定版本的预印本报告,并非本站复现。
它们的价值在于分别提问:经验是否保留?学习算法是否改变?新研究者是否改善后续研究?改框架是否比只改答案更有用?同一系统可能一项成功、一项失败。不能把异质分数合成 RSI 能力榜;下表是阅读地图,不是市场排名。
把前沿结果读成一条主张链
阅读每篇论文时,先找可编辑产物与保持不变的基础设施,再问学习者拿到了什么反馈、候选选择怎样利用反馈、报告任务经过选择后是否仍独立,最后核对后继版本是否真的执行了后续改进。终点分数变好支持的结论,比“产生优秀后代的速度也变快”更窄。
证据地图应服务于实现选择:记忆研究帮助理解持久化与纠错;算法设计研究帮助构建训练规则搜索;框架研究帮助改进工具和控制流。把方法迁移到其他载体需要新的论证。能判断代码的验证器,不会自动成为开放式科学提案的可靠裁判;仿真的标量奖励,也不会自动定义现实中的安全行为。
证据地图:每项研究隔离了什么
解释收益前,先核对继承关系、公平预算和独立证据。
10. 改进回路怎样欺骗自己
私有评判器不自动等于独立评判器。每次分数、接受/拒绝位和详细错误栈都泄露信息;即使从未读取标签,反复适应也能拟合这些反馈。公开基准答案、近重复任务、检索记忆和生成解释也会引入泄漏。保护文件是必要条件,却不能消除统计污染。
第二个问题是赢家诅咒。许多真实能力相同的候选都有测量噪声,挑最高分往往挑中了正噪声。独立高斯噪声最大值大致随 σ√(2 log K) 增长;这是渐近示意,不是任意相关智能体的校正公式。只发表胜出谱系隐藏了 K 和失败成本。小幅收益需要新任务与独立重复支撑。
第三个问题是反馈退化。错误批评器会强化自己的错误;内部自纠正存在已观察到的局限 [5]。完全或不断替换为合成数据可能丢失分布尾部,模型坍塌研究讨论了这一风险 [9]。这不意味着所有自反馈、合成数据都无效,关键在于回路是否进入新的可靠信息,以及稀有重要行为能否保留。
最后,奖励投机改善的是测量而非任务。补丁可能跳过慢测试、读取评判文件、伪造工具轨迹或利用解析器缺陷。候选生成的内容均应视为不可信;语义正确、评判完整性、权限合规必须分开,不能互相替代。
区分偶然走捷径与对抗行为
候选利用弱测试不一定有欺骗意图。给熟悉任务返回缓存答案,可能提高分数却无法处理新输入;另一个候选则可能主动修改日志或读取受保护数据。两者都可能使结论失效,但诊断与修复不同:捷径需要修复任务覆盖,篡改需要修复隔离和来源链。不能仅凭分数推断意图。
反馈回路会放大小错误。若裁判偏爱自信措辞,筛选后的回答会更自信;再用这些回答训练,同一个裁判可能更喜欢下一代,而独立事实检查却发现没有改善。任务结果、风格偏好、约束违规应分别记录,防止把偏好分数上升悄悄替代成事实正确率提高。
11. 从实验到生产:有边界的权限
改进器只读已批准开发材料,只能写候选工作区。生产凭证、评判秘密、部署权限放在独立控制面。容器是有用的封装,却不是敌对代码的完整安全边界;隔离强度、主机挂载、网络访问和资源限额仍然重要。研究回路不应悄悄获得云资源购买权或物理执行权。
保存只追加事件账本:父版本与补丁哈希、数据和评判器版本、随机种子、工具轨迹、资源消耗、裁决、发布标识。原始结果保存在候选不可写的位置,日志敏感数据需脱敏并限制保留期。归因需要真实工具事件;模型描述“我执行了命令”不是执行回执。
状态机应明确提案、运行、拒绝、接受、金丝雀、活动、回滚状态。证据缺失或未知就阻止晋级。工作节点重启从不可变产物恢复,不能接受写了一半的检查点。机器人还要经过仿真到现实验证并保留独立安全控制器:仿真变好不等于获准在人附近运动。
商业控制点往往是可靠的评判与发布服务,而非一句“请自我改进”的提示。研究团队购买可复现性与实验效率,平台团队购买安全集成与成本边界;模型提供商提供推理训练,编排和可观测性工具提供基础设施。这些产品类别单独都不证明 RSI。本文不推测未公开市占率,也不把收购自动视为产品已整合。
研究与发布使用两套节奏
研究回路可以高频探索,生产仍运行稳定版本。晋级应引用可复现组合:模型身份、智能体代码、提示、工具 schema、记忆策略、依赖版本。如果新版还改变持久记忆或工具接口,只回滚代码并不够;必须保留兼容性检查,并明确这些状态如何迁移或失效。
运行限制必须在候选代码之外强制执行。智能体控制的预算计数器可以被删除,自身进程内的超时也可能被忽略。外部调度器应限制工作量并终止过期任务。可观测记录应区分提议、实际执行、确认完成的动作,包括取消和部分失败;下一代不能继承未经验证的“外部操作已成功”陈述。
12. 未解决的问题,以及何时不该使用 RSI
最难的瓶颈往往是验证而非生成。编译器可以检查语法,科学结论可能需要几个月实验,社会结果甚至没有公认标量真值。提高提案吞吐量,会同时增加监督负担。更强的改进器也可能更善于利用弱评判器,因此能力提升与可信性必须分开研究。
元改进需要跨代因果证据:同等总资源下,新搜索策略是否比冻结策略产生更好的后代?迁移需要新任务家族,不是旧题改名;长期稳定需要能力保持、记忆纠错、坏更新后的恢复。可扩展监督、合成数据溯源、多样性搜索和安全评判都仍是活跃问题,一次漂亮成绩不能将它们关闭。
候选效果可逆、有意义的验证器可用、失败成本可承受、目标分布足够明确时,才适合有限闭环。验证弱或涉及不可逆资产时,应优先采用人工审查的工程修改。有时改善检索、普通监督训练或固定工作流就能更便宜地解决真正的问题。
理解这个领域,需要把它看成受约束的信息生产过程:提出改变、获得可信证据、保存有效状态、只继承有依据的改变。反复迭代不会自动变成无限智能。文末用一个刻意很小的本地实现,把这种区别变成可执行规则。
把开放问题变成有边界的研究议程
验证问题应问:哪些重要故障仍不可观察,什么独立信号能揭示它们?迁移问题应问:收益是否依赖题目措辞、仓库惯例或某个模型家族?效率问题应问:更简单的固定搜索能否取得相同收益?安全问题应问:接受多次修改后,权限与恢复机制是否仍成立?每个问题都指出具体不确定性,而不是承诺“再递归几轮就能解决”。
合理的停止决策可以是“保留当前系统”。剩余预算不足以区分真实收益和噪声、验证器已不能覆盖新修改,或保留能力跌破保护下限时,就应停止。停止机制属于优秀改进过程的一部分。缺少可信停止条件的无限循环,可能让不确定性比能力积累得更快。
13. 实践与验证:构建证据,而非成功故事
完整算例:收益、遗忘与不确定性
父版本在目标题上成功 60/100,保留题上成功 80/100。A 为 72、72:目标 +12 点,但保留 −8 点;B 为 65、79:+5、−1。最低增益 3、最大损失 2、成本上限 100 时,仅 B 通过。C 的完整性输入为失败,D 成本 180。此处完整性是外部提供的断言,不是污染检测器。B 的目标题中,15 题新增成功、10 题退步、50 题都成功、25 题都失败;成对差均值 0.05,样本方差 0.25,标准误 0.05,正态近似 95% 区间为 −4.8 到 +14.8 个百分点。规则接受 B,不等于这点样本证明了正向能力差。
本地晋级规则实验
| 候选 | 目标增益(百分点) | 保留变化(百分点) | 成本单位 | 决定 |
|---|
移动滑块前先预测:容忍损失为 8 时 A 通过,C、D 仍应被拒绝。全部在浏览器本地运行,不上传、不调用模型、不训练。
用 Python 复现审计
下载下方文件,用 Python 3.11 及以上运行 python3 rsi-audit.py。仅标准库,无依赖、模型下载或 API key。样本确定,不需随机种子;下方输出已实际核对。实现审计已有分数,不生成补丁、不隔离敌对代码,也不是自治模型。
Python · 下载参考实现
"""Deterministic RSI teaching audit; Python 3.11+, standard library only.
No model, network, generated-code execution, or real capability measurements.
"""
from dataclasses import dataclass
from math import isfinite, sqrt
from statistics import mean, stdev
@dataclass(frozen=True)
class Candidate:
name: str
target: int
retention: int
cost: float
integrity: bool
PARENT_TARGET, PARENT_RETENTION, N = 60, 80, 100
CANDIDATES = (
Candidate('A', 72, 72, 100, True),
Candidate('B', 65, 79, 100, True),
Candidate('C', 78, 80, 100, False),
Candidate('D', 68, 80, 180, True),
)
def gate(c, min_gain=3, max_drop=2, max_cost=100):
values = (c.target, c.retention, c.cost, min_gain, max_drop, max_cost)
if not all(isfinite(x) for x in values):
raise ValueError('Non-finite audit value')
if not (0 <= c.target <= N and 0 <= c.retention <= N):
raise ValueError('Invalid success count')
if c.cost < 0 or max_drop < 0 or max_cost < 0 or type(c.integrity) is not bool:
raise ValueError('Invalid constraint or integrity flag')
failures = []
if c.target - PARENT_TARGET < min_gain: failures.append('gain')
if c.retention - PARENT_RETENTION < -max_drop: failures.append('retention')
if c.cost > max_cost: failures.append('budget')
if not c.integrity: failures.append('integrity')
return not failures, failures
def paired_summary(parent, child):
if len(parent) != len(child) or len(parent) < 2:
raise ValueError('Use at least two paired outcomes')
if any(x not in (0, 1) for x in parent + child):
raise ValueError('Outcomes must be binary')
differences = [b-a for a,b in zip(parent,child)]
delta = mean(differences)
se = stdev(differences) / sqrt(len(differences))
return delta, se, (delta-1.96*se, delta+1.96*se)
if __name__ == '__main__':
for c in CANDIDATES:
accepted, reasons = gate(c)
print(c.name, 'ACCEPT' if accepted else 'REJECT', ','.join(reasons) or '-')
# 15 newly solved, 10 regressions, 50 shared successes, 25 shared failures.
parent = [0]*15 + [1]*10 + [1]*50 + [0]*25
child = [1]*15 + [0]*10 + [1]*50 + [0]*25
delta,se,interval=paired_summary(parent,child)
print(f'paired gain={100*delta:.1f} pp; SE={100*se:.2f} pp')
print(f'approximate 95% interval=[{100*interval[0]:.2f}, {100*interval[1]:.2f}] pp')
assert [gate(c)[0] for c in CANDIDATES] == [False,True,False,False]
assert gate(CANDIDATES[0],max_drop=8)[0]
assert not gate(CANDIDATES[2],max_drop=100,max_cost=1000)[0]
assert gate(Candidate('boundary',63,78,100,True))[0]
assert not gate(Candidate('below',62,78,100,True))[0]
assert interval[0] < 0 < interval[1]
try: gate(Candidate('bad',65,79,float('nan'),True))
except ValueError: pass
else: raise AssertionError('NaN accepted')
print('7 audit checks passed; this is not evidence of model improvement.')
预期输出
A REJECT retention
B ACCEPT -
C REJECT integrity
D REJECT budget
paired gain=5.0 pp; SE=5.00 pp
approximate 95% interval=[-4.80, 14.80] pp
7 audit checks passed; this is not evidence of model improvement.公平研究协议
预先登记任务家族、保留能力下限与停止规则。比较:相同推理预算的冻结智能体、固定改进器、递归改进器,以及分别去掉记忆、权重更新、代码修改的消融。每个提案和被拒候选都记入资源账本。开发集用于生成,限次验证集用于选择,新的最终审计集用于报告;审计反馈一旦改变设计决策,该划分就不再独立。重复独立运行,报告成对不确定性、各家族退步和所有谱系。注入证据缺失、超时、产物损坏、权限扩张等失败,必须阻止晋级且不破坏旧活动版。教学代码检查阈值等号、非法值、约束独立性;生产仍需真实完整性证据与隔离。
运行算例前,先写下每个候选被哪条约束拒绝。然后一次只改变一个输入:把 A 的保留损失放到边界,把 B 的收益降到 3 以下,将 B 的完整性标记为失败,再提高 D 的预算上限。解释为什么放宽预算不能修复完整性失败。研究扩展可保持总成功数不变,却改变具体任务从通过变失败的数量:即使总体收益相同,成对不确定性也会改变。提交候选账本、确切代码版本、输出,以及这些观察不能证明什么的说明。
原创模拟面试题
非公司真实面试题。每题评分:1 分说出机制;2 分定义正确;3 分应用到贯穿案例;4 分提出受控对照;5 分处理不确定性、反例及安全失败响应。
1. 每轮修改提示,怎样才算有递归改进证据?
提示 1
先找出持久状态。
提示 2
再找出下一轮候选由谁提出。
答案与分析
证明接受后的版本参与下一轮改进,再以相同总资源和固定改进器比较后代。提示变化只说明适应,不证明通用能力增长或加速。
2. 为什么 B 通过规则,却不能证明可靠能力增益?
提示 1
政策阈值与不确定性回答不同问题。
提示 2
用 100 道题中 15 个改善、10 个退步计算。
答案与分析
增益 5 点,标准误也是 5 点,示意区间包含零。确定性规则检查约束,不检验显著性。增加新的成对任务、预先规定不确定性规则并独立重复,不能看完结果再调阈值。
3. 从未读取的私有基准也会污染选择吗?
提示 1
反馈本身就是信息。
提示 2
考虑几千次接受或拒绝查询。
答案与分析
会:适应性选择可从响应中学习评判器。限制验证次数、保留全部尝试记录、使用新的最终审计集。审计一旦影响后续修改就不再独立。文件权限与统计独立性解决不同问题。
4. 候选修改评判器后报告提高 20 点,应如何处理?
提示 1
找信任边界。
提示 2
高分不能代替来源证明。
答案与分析
阻止晋级,因为证据不再来自受保护评判器。用授权评判器重新运行不可变候选,保存拒绝产物并调查访问控制。完整性或权限违规不能被高效用抵消。
5. 如何证明改进器变好了,而不是算力更多?
提示 1
固定初始父版本与任务分布。
提示 2
比较后代,不只看修改后的程序。
答案与分析
让新旧改进器从匹配状态出发,使用相同生成、训练和验证预算。在新任务家族上比较后代能力、保留与不确定性,纳入失败运行和多个种子。一次代码得分上升或更长搜索不证明改进算法更优。
来源与版本
日期为 arXiv 首次提交 → 引用版本日期。引用标签保留论文原题。2026 年新条目按预印本处理,不推断会议录用;已核实代码提供链接,不宣称独立复现。
- Gödel Machines · 2003-09-25 → 2006-12-17 · cs/0309048v5
https://arxiv.org/abs/cs/0309048v5 · PDFhttps://arxiv.org/pdf/cs/0309048v5 - STaR: Bootstrapping Reasoning With Reasoning · 2022-03-28 → 2022-05-20 · 2203.14465v2
https://arxiv.org/abs/2203.14465v2 · PDFhttps://arxiv.org/pdf/2203.14465v2 - Self-Refine · 2023-03-30 → 2023-05-25 · 2303.17651v2
https://arxiv.org/abs/2303.17651v2 · PDFhttps://arxiv.org/pdf/2303.17651v2 - Reflexion · 2023-03-20 → 2023-10-10 · 2303.11366v4
https://arxiv.org/abs/2303.11366v4 · PDFhttps://arxiv.org/pdf/2303.11366v4 - Large Language Models Cannot Self-Correct Reasoning Yet · 2023-10-03 → 2024-03-14 · 2310.01798v2
https://arxiv.org/abs/2310.01798v2 · PDFhttps://arxiv.org/pdf/2310.01798v2 - Self-Rewarding Language Models · 2024-01-18 → 2025-03-28 · 2401.10020v3
https://arxiv.org/abs/2401.10020v3 · PDFhttps://arxiv.org/pdf/2401.10020v3 - Darwin Gödel Machine · 2025-05-29 → 2026-03-12 · 2505.22954v3
https://arxiv.org/abs/2505.22954v3 · PDFhttps://arxiv.org/pdf/2505.22954v3 - AlphaEvolve · 2025-06-16 → 2025-06-16 · 2506.13131v1
https://arxiv.org/abs/2506.13131v1 · PDFhttps://arxiv.org/pdf/2506.13131v1 - The Curse of Recursion: Training on Generated Data Makes Models Forget · 2023-05-27 → 2024-04-14 · 2305.17493v3
https://arxiv.org/abs/2305.17493v3 · PDFhttps://arxiv.org/pdf/2305.17493v3 - PAST-Bench · 2026-08-04 → 2026-08-04 · 2608.04003v1
https://arxiv.org/abs/2608.04003v1 · PDFhttps://arxiv.org/pdf/2608.04003v1 - AI4AI-Bench · 2026-08-20 → 2026-08-20 · 2608.20318v1
https://arxiv.org/abs/2608.20318v1 · PDFhttps://arxiv.org/pdf/2608.20318v1 - Recursive self-improvement of AI research agents / AIDE² · 2026-09-22 → 2026-09-22 · 2609.26457v1
https://arxiv.org/abs/2609.26457v1 · PDFhttps://arxiv.org/pdf/2609.26457v1 - Flex-RSI · 2026-11-06 → 2026-11-06 · 2611.08946v1
https://arxiv.org/abs/2611.08946v1 · PDFhttps://arxiv.org/pdf/2611.08946v1 - RSI-Env · 2026-11-01 → 2026-11-01 · 2611.01736v1
https://arxiv.org/abs/2611.01736v1 · PDFhttps://arxiv.org/pdf/2611.01736v1 - SelfImprove-Bench · 2026-11-02 → 2026-11-02 · 2611.02797v1
https://arxiv.org/abs/2611.02797v1 · PDFhttps://arxiv.org/pdf/2611.02797v1 - RSI-Dojo · 2026-10-29 → 2026-10-29 · 2611.03698v1
https://arxiv.org/abs/2611.03698v1 · PDFhttps://arxiv.org/pdf/2611.03698v1 - Direct Preference Optimization · 2023-05-29 → 2024-07-29 · 2305.18290v3
https://arxiv.org/abs/2305.18290v3 · PDFhttps://arxiv.org/pdf/2305.18290v3
DGM · GitHubhttps://github.com/jennyzzt/dgm · PAST-Bench · GitHubhttps://github.com/Gen-Verse/PAST-Bench · Flex-RSI · projecthttps://flex-rsi.github.io/ · AlphaEvolve · Google DeepMind · 2025-05-14https://deepmind.google/blog/alphaevolve-a-gemini-powered-coding-agent-for-designing-advanced-algorithms/
扩展学习
RL · 解释收益前,先核对继承关系、公平预算和独立证据。 · OpenAI Academyhttps://academy.openai.com/ · Anthropic Learnhttps://www.anthropic.com/learn · Microsoft Learnhttps://learn.microsoft.com/en-us/training/