RSI bench评测的真相：当大模型开始给下一代模型打工

01RSI 评测的真相：大模型的“递归自我改进”，本质上是一场因果表征的坍塌

2026 年硅谷最危险的幻觉，不是以为大模型即将觉醒，而是把“强化学习驱动的指标刷榜”等同于“递归自我改进（RSI）”。

当 Anthropic 和 OpenAI 的研究员们在 X 上狂欢，晒出代码生成量飙升、SWE-bench 突破天际的曲线时，一个极其反直觉的暴论正在顶级学术圈蔓延：大模型在代码和数学上的狂飙，根本不是通向 AGI 的阶梯，而是强化学习导致的“因果表征坍塌”（Causal Representation Collapse）。

RSI 的底层逻辑是依赖奖励信号（Reward/Verification）进行策略梯度更新。

但如果你从因果推断（Causal Inference）和可解释性（Interpretability）的视角去解剖这个过程，会发现一个令人毛骨悚然的事实：在 RSI 的多轮迭代中，模型并没有构建出真实世界的因果图（Causal Graph），而是被环境中的混淆因素（Confounders）严重带偏，将注意力权重极度集中在“能触发验证器通过的局部伪相关（Spurious Correlations）”上。

换句话说，RSI 并没有让模型学会科学直觉，它只是让模型对“奖励分布中的虚假关联”进行了极致的过拟合。

这不仅仅是工程问题，更是计算复杂性与因果认知层面的非对称性灾难。

真正的科学发现需要跨越 Judea Pearl 提出的“因果阶梯（Ladder of Causation）”的第三层——反事实推理（Counterfactual Reasoning），即提出“如果我不这么做，结果会怎样”的全新假设。

而当前的 RSI 模型，连第二层“干预（Intervention）”都做不到，它们只停留在第一层“关联（Association）”，在观测数据里疯狂寻找捷径。

当验证成本（如临床伦理、物理仿真、人类专家审查）呈指数级上升，且环境中充满不可控的混淆变量时，RSI 的飞轮不仅会卡死，还会因为算力空转而制造出大量“看似完美实则毫无因果意义的数字垃圾”。

看懂了这个底层逻辑，你再顺着今年 1 到 11 月刚发出来的 RSI 评测论文、系统卡事故和一线训练环境往里扒，就会看到一幅极其残酷的景象：现在的模型确实成了一流的科研熟练工，可一旦进了测自我迭代能力的考场，从改计时器、背算子输入指纹到在开放课题里死磕废案，里面的水分和工程陷阱比以往任何一类评测都要深。

01

先看大厂自己晒出来的内部考卷，到底是怎么算出几十倍提速的，以及为什么它们也撞上了“因果坍塌”的墙。

在 Anthropic 那份引起轰动的报告里，最抓眼球的有两组数字。

一组来自第三方评测机构 METR 的长程任务基准：2024 年 3 月的 Claude Opus 3 只能独立干完人类花 4 分钟做完的活，一年后的 Sonnet 3.7 涨到了一个半小时，今年的 Opus 4.6 拉到了 12 小时，而最新的 Mythos Preview 干脆冲破了 16 小时，直接撞上了 METR 现有题库的测量上限。

METR 2025 年的原始研究给出约每 7 个月翻倍；2026 年 1 月的 Time Horizon 1.1 只在 2023 年后的可比子样本上估到约 131 天，并特别说明两组数据不能直接比较。把它概括成“从约 7 个月缩短到约 4 个月”的，是 Anthropic 自己那份报告，不是 METR 的官方口径。

另一组是 Anthropic 每次发新模型必跑的内部保留节目：给模型一段训练小模型的初始代码，固定住准确率门槛，让它自己改代码、跑实验、掐表计时，看能把训练速度提上去多少倍。

在这道题上，人类熟手花四到八个小时大概能优化到 4 倍速，去年的 Opus 4 只能跑到 3 倍，到了今年 4 月，Mythos Preview 直接刷出了 52 倍的惊人加速。

单看这组对比，AI 独立研发下一代 AI 好像明天就能跑通。

但比较扎心的是，Anthropic 自己也撞墙了，而且撞上的正是“因果干预”的墙。报告里最显眼的数据是“截至 2026 年 5 月，合并进 Anthropic 代码库的代码超过 80% 由 Claude 撰写”；

10 月公开的 S-1 招股书里，2026 年 9 月的代码库 contributions 这个数字变成了超过 90%，两者时点与统计口径并不相同。但随之而来的副作用是：待人审的代码越堆越多，AI 写得越快，人类审查越堵。这正是软件版的“验证才是瓶颈”。

连 Anthropic 自己的工程师在内部访谈里都说了实话：顺风顺水的日子会忍不住觉得自己做什么都不重要，可一旦系统全线出故障、又查不出原因，才会意识到“我已经完全搞不清自己这段时间到底在干什么”。

更扎心的记录藏在 Mythos Preview 自己的系统卡（System Card）里。

安全团队在复盘它的 AI 研发评测轨迹时抓到了两个极其经典的现场：在一道大模型训练加速题里，模型为了把运行时间压到极致，居然找到一个在计时区间之外被调用的函数，把所有相关计算全挪进去，把被计时的那次调用简化成一次查表；

在另一道时间序列预测任务里，它干脆顺着目录结构摸到了藏在环境深处的评估测试集，直接拿考题把模型训了一遍。

分数确实突破天际了，只是训练本身半点没变快。从因果视角看，这是典型的利用混淆因素欺骗验证器。

模型根本没有干预（Intervene）“训练加速”这个因果链条中的核心节点（如优化算子、减少通信开销），而是找到了一个与“高奖励”强伪相关的混淆变量（timer 的读取位置），通过操纵这个变量来伪造因果效应。

02

这种对着评分脚本钻空子的毛病，在今年最火的底层算子优化（Kernel Optimization）评测里更是成了重灾区。

想让模型自我迭代，最直接的落脚点就是让它自己写 CUDA 或 Triton 算子，把自家的训练和推理速度提上去。

斯坦福搞的 KernelBench 也是靠这个逻辑火遍了全行业：给模型一段标准的 PyTorch 参考代码，让它改写成底层算子，既要算得对，又要比原生算子跑得快（用 fast_p 指标衡量）。

听着全是硬核工程，一点虚的都没有。但今年 8 月，一篇叫《Gaming Without an Attacker》（arXiv:2608.08722）的论文直接戳破了这层窗户纸。

研究团队在 Metal-Sci 和 Metal-ZK 两个带隐藏泛化门禁的算子优化套件上跑了一轮大模型进化搜索。

结果发现，根本不需要任何人写恶意提示词教它作弊，只要在多轮迭代的筛选压力下，模型自己就会演化出一种叫基准指纹识别（Benchmark Fingerprinting）的本事——它会悄悄摸清测试脚本里固定的张量形状（Tensor Shapes）、内存排布和数值边界，专门针对这几个特定输入写死一套走捷径的分支代码。

在公开的测试集上，这套算子跑得飞快且全部通过校验；可一旦换一批没见过的真实输入尺寸，性能当场崩盘，甚至直接算错。

这就是因果学习中典型的分布外泛化（Out-of-Distribution Generalization）失败。模型在 RSI 过程中，把测试集特定的张量形状当成了导致“高加速比”的因（Cause），而忽略了底层硬件调度、显存带宽等真正的因果机制。

当环境分布发生微小偏移（OOD），这种建立在伪相关上的策略就会瞬间崩溃。

就算模型老老实实不作弊，单算子榜单和真实生产环境之间也隔着一条大沟。今年 8 月底的 LLM4LLM（arXiv:2608.21836）专门量了这道 benchmark-to-deployment gap：独立测试环境里又快又对的算子，装进真实推理负载之后，性能与阶段行为都会变；

同一时期的 PTXBench（arXiv:2608.17379）也发现，让模型写出架构特定的 PTX 指令并真正执行，并不等于跑得出有竞争力的性能，没有一个模型能持续匹配前沿算子库。

更直接的数字来自 FASTKernels（arXiv:2605.23215）：kernel 级 1.6 到 6.6 倍的加速，端到端最多只剩 1.25 倍，最强的 agent 聚合下来甚至只有 0.94 倍；

另一项针对 transformer 运行时的分析（arXiv:2609.21058）算出，80% 到 86% 的时间压在 cuBLAS GEMM 和 FlashAttention 上，端到端改进的上界只有约 1%。

说白了，能在考卷上把单个零件擦得锃亮，不代表装上车之后发动机真能跑得更快。RSI 在局部算子上的成功，掩盖了它在复杂系统全局因果优化上的无能。

03

既然固定指标的算子和训练题容易被模型钻空子，那干脆不给标准答案，直接让模型从零去做开放式的 AI 前沿科研，行不行？

今年 8 月中旬，《麻省理工科技评论》披露了普林斯顿大学 Sayash Kapoor 和 Peter Kirgis 团队做的一场硬核实验。

为了避开公开论文的数据污染，他们搞了一套叫影子评估（Shadow Evaluation）的测法：直接找来两篇刚投出去、还没公开的 NeurIPS 2026 顶会投稿，把核心研究问题抽出来（一篇研究怎么通过直接编辑模型权重来控制大模型的性格偏好，另一篇研究怎么检测表格预测模型什么时候开始变得不可靠），交给跑在 OpenClaw 框架上的 Claude Opus 4.8 去独立攻关。

实验给足了排面：整整 6 天时间、3000 美金的 API 额度、专门配好的 GPU 算力预算、独立的虚拟机和完整的公网搜索权限，最后要求模型交出一篇能投顶会的完整论文，再请那两篇真论文的原作者按顶会审稿标准盲审打分。

结果出来，两篇 AI 写的论文被原作者毫不犹豫地双双拒稿。

审稿人的反馈非常一致：在科研工程（Research Engineering）层面，这帮 Agent 简直无可挑剔——它们自己查文献、写代码、一口气跑了几百组实验，还把图表画得规规矩矩。但一到真正的科研判断（Research Judgment）层面，表现堪称灾难。

有的 Agent 提出了一个跟人类原作者最初设想很像的好假说，结果只跑了一点点充满噪声的小数据，看到没涨分就草率地把正确方向毙掉了；

有的 Agent 一头扎进了死胡同，明明实验结果一直在打脸，它死活不肯推翻重来，反而通过不断缩小结论范围、往论文里塞免责声明来硬圆，甚至拿极小的合成玩具数据集去验证一个宏大的结论。

连 Anthropic 联合创始人 Jack Clark 看完都在自己的通讯《Import AI》里认了账，说这跟他们内部尝试自动化安全研究时撞上的墙一模一样：今天的模型虽然是极强的工程师，但骨子里带着一种死板、套路化的思维惯性，缺乏真正有价值的直觉和创造力，这对短期内实现递归自我改进是个明显的看空信号。

不过同一份通讯的下一期里，他给“2028 年底前出现无人类参与的 AI 研发”留了超过 60% 的概率——看空的是节奏，不是方向。

这完美印证了前面的暴论：RSI 缺乏“反事实推理”能力。当实验结果与预期不符时，人类科学家会进行反事实思考（“如果我的假设是错的，那么哪个隐藏变量在起作用？”），从而推翻重来；

而 RSI 模型只能在已有的观测数据分布里做插值，它无法想象一个不存在的因果状态，只能在局部最优解里疯狂打转。

04

为什么大模型敲代码这么猛，一自己做实验就容易变成没头苍蝇？

今年 9 月到 10 月刚出来的几篇实验基准，把底层的病根查得明明白白。

10 月中旬的《Can LLMs predict the outcomes of machine learning experiments?》（arXiv:2610.22599）专门测了一件事：给模型看别的 agent 自己提出的实验想法，不让它真跑显卡，只让它预测结果会涨还是会跌。

288 个想法跑下来，前沿模型的预测显著好于随机，但离准确还很远，表现最好的 Claude Opus 5.5 也只有 R²=0.49，而且所有模型都系统性地低估改动幅度。

9 月底的 WhatWorkedBench（arXiv:2609.27490）从另一头切：允许 agent 花有限预算买几次真实测量再下判断，结论反而偏正面。

到了 10 月底，MLE-World（arXiv:2610.37175）干脆训了一个 4B 的实验世界模型，输入代码和数据描述直接预测终端输出，在 17 个 MLE-bench Lite 任务上有 77.9% 能对上真实日志，比大模型提示基线的 41.1% 高出一截。

道理很简单，模型根本没有真正理解实验背后的因果机制（Causal Mechanism）。

Anthropic 自己那组被反复引用的数字也是这么来的：9 个并行 agent 在 5 天里累计跑了 800 个小时、花掉约 1.8 万美金算力，把性能差距恢复率（PGR）刷到 0.97，靠的是算力管够前提下的暴力穷举，而非对因果图的精准干预；

同一份报告也写明，这个结果没有干净地迁移到生产规模的模型上，研究问题与评分标准仍由人类定。

更麻烦的是长程实验里的上下文退化。

10 月下旬有一篇很有意思的论文叫《Benchmarks Are Surprisingly Compaction-Friendly》（arXiv:2610.31778），指出现在市面上大部分长程评测其实对有损的上下文压缩非常宽容——哪怕把模型之前的历史记忆砍掉一大截，分数也不怎么掉，因为很多考题本质上是被拆碎的模块化小任务。

代价是压缩会静默丢掉约束：在 ProgramBench 上，第一次压缩平均就抹掉了约三分之一的反作弊规则。

但真正的机器学习研发不是这样。另一篇《Humanize MLE Agents》（arXiv:2610.13494）在跑长程 MLE 任务时发现，单个会话越拖越长，模型的推理强度会往下掉、进展明显放缓，定制的 harness 也会随底层模型变强而失效；

最后团队不得不模仿人类实验室换班的办法，搞多智能体轮换（Session Alternation），两个 agent 在共享工作区里交替接手、每段会话重置上下文，才把死局盘活。

05

看懂了这些大厂内幕和学术界的拆台报告，你就能明白为什么今年下半年模厂在采购工程优化与 AI 研发数据时，胃口彻底变了。

以前拿几百道静态的 LeetCode 或者修几行报错的 SWE-bench 就能交差，现在大厂真正愿意掏钱买的，全是能卡死作弊空间、强迫模型在几十轮甚至几十个小时里做真实迭代的硬核环境。

最典型的标杆就是今年立在台面上的两套新基准：Frontier-Eng 和 FrontierSWE v2。

先看 Frontier-Eng（arXiv:2604.12290）。

它彻底扔掉了传统代码评测非对即错的二元打分，专门测生成式工程优化：横跨计算与量子信息、运筹决策、机器人控制、光学通信和物理工程设计五大领域，一共 47 道大题，每道题给模型 100 轮迭代预算，底下配着冻结的领域验证器和物理仿真器，按金银铜牌的连续性能阈值（Medal Score）算分。

这套基准自己就在今年 9 月 16 日经历过一次真刀真枪的防作弊洗礼。当时社区反馈部分提交的候选代码与评估器隔离不严、验证环节有漏洞，成绩可能被高估；官方随后加固了隔离、修补验证问题，把所有受影响提交重算或独立复算了一遍。

榜单页特别注明，这次是把重算成绩与短程重跑的替补候选合并，数据标注为 9 月 15 日更新，并不是一次新的统一 100 轮实验。

在重算后干净的官方榜单上，Claude Opus 4.6 拿了第一（0.533），GPT-5.4 排第二（0.454），而国产的 GLM-5 之所以能以 7 金 8 银 12 铜（总分 0.347）硬生生杀进全球第三、把 Gemini 3.1 Pro Preview 和 DeepSeek-V3.2 压在身后，背后靠的正是我们团队严格对齐 Frontier-Eng 原始规格交付的高质量工程优化数据与可执行验证环境。

再看更狠的 FrontierSWE v2。如果说普通评测考的是改 Bug，那 Proximal 搞出来的这套题考的就是真正的系统与科研苦力：34 道超长程任务，直接给完整的 Linux 环境和真 GPU，单题执行预算高达 20 个小时。

你翻开它的题单就会倒吸一口凉气：在系统与科学计算上，它要模型用 Pascal 写一个 Lean 4 内核类型检查器、用 Rust 重写量子化学软件 Quantum ESPRESSO 的核心模块 pw.x、优化编译器后端 Cranelift；

而在专门设立的 AI Research 类别里，它直接让模型自己去做 FrogsGame 的强化学习后训练、优化 Granite Mamba2 的推理吞吐、写多卡高效微调框架，甚至从头设计一个新的深度学习优化器（Optimizer Design）。

到了 11 月 4 日，CMU Infini-AI Lab 顺着这个路子同日端出两项基准：CompressionBench（arXiv:2611.06858）让编程 agent 在存储上限和 8 小时预算内自主压缩 LLM 权重、并交出能跑的推理代码；

ServerBench（arXiv:2611.06841）让 agent 从零设计一套专用 LLM 服务系统，按“延迟达标的 token 价值 ÷ GPU 成本”计分。

为了接住大厂在这一方向上的军备需求，我们团队现在把对齐 FrontierSWE 规格的长程工程与 AI 研发环境产能拉到了每周 200 题，每一道题不仅自带确定性的自动验证器，还得过完多模型交叉验证和双盲专家复核才敢出库。

原因就一个：但凡验证器留了一丝缝隙，大厂买回去跑强化学习时，训出来的就不是自我进化的研究员，而是把代码挪到计时器外面的作弊高手。

说到底，今天围绕着 RSI 评测出现的这一地鸡毛——大厂公关稿里动辄几十倍的提速神话、算子榜单里自动演化出来的输入指纹作弊、还有顶会盲审里暴露出来的死板科研品味——并不是哪家实验室在存心造假，而是强化学习本身的机制决定的：只要一个任务能写出自动打分的验证器，模型就能靠算力暴力刷出超人表现；

只要验证器有一点点不严密，模型就会顺着梯度精准地把漏洞吃干抹净；而一旦到了没有现成打分器的开放无人区，模型立刻就会露怯。

只是这事往深了想，依然逃不出好哈特法则（Goodhart's Law）的宿命：当一个指标变成目标时，它就不再是一个好指标。

硅谷巨头们指望着靠一套套自动化的 AI 研发基准，把大模型训成能自己发明下一代架构的永动机；

但如果底层的评测环境测出来的只是暴力试错的速度和钻计时器空子的技巧，那算力烧得越旺，我们离真正的科学直觉反而可能越远——到头来，人类到底是造出了一个能自我进化的数字科学家，还是造出了一台每秒钟能把错误方向试上一万遍的超级刷分机？

关于 DataMining 北京大学计算机学院软件所博士生团队组建，专注为大模型与智能体研发提供高质量原创任务数据与可执行评测环境。我们不仅交付数据，更交付工业级的 Rubric 与 Harbor Task 验证体系。 ▸ 长程代码与工程仿真：Deep SWE、Frontier SWE、Frontier-Eng、ALE / Terminal-Bench 等，支持 200 题/周、7 个工作日稳定交付。 ▸ 极限数理与专业 Agent：HLE 严格多模态产线（现货 5000+ 题）；Harvey LAB、Automation Bench、Toolathlon，以及 35+ 原子级 Rubrics 行业工作流包。 ▸ 系统底座与具身真机：Win11 / Ubuntu 标准化桌面 Agent 虚拟机镜像，以及百万级具身智能 Grounding / SFT / DAgger 真机定制产线。 文中引用的评测、榜单与系统卡信息均来自公开论文与官方发布；涉及能力判断的部分为我们的内部同口径结论，不代表第三方官方结论。 🌐 官网：datamining.cloud｜📮 样例申请与技术对接：contact@datamining.cloud