Physical AI 与具身 RSI：机器人会学习，也会改进自己的学习方式吗？

01机器人变熟练，就算自我进化了吗？

🤖 一只机械臂反复抓不稳同一个物体：是策略里缺少恢复动作，是世界模型把“轻轻碰到”误判成“稳稳抓住”，是上次成功的修复没被保存下来，还是它每次都选错了修复的方式？

这些问题指向同一个区别：“机器人在变好”，不等于“机器人越来越会变好”。前者可能只是用同一套训练流程多练了几轮；后者还要问，训练流程以及负责修改训练流程的改进者，有没有从经验里学到东西。

我们带来这篇综述 Toward Recursive Self-Improvement in Physical AI。以“物理经验在哪里留下改变”为主线，梳理机器人学习、世界模型和自我改进智能体之间的关系。图 1 把这条路径画了出来：经验先改变行为、预测或外部知识，再可能改变学习流程，最后才走到改进者自身。

抓杯子的例子可以一直带着看。机器人这次抓稳了，是“任务结果”；它保存了一个重新抓取动作，是“留下的改变”；它开始优先收集容易滑落的杯子，是“学习流程改变”。如果它还能从这些修复中学会更好的流程修改方法，问题才进一步进入递归。

02四类改变：经验到底存到了哪里？

🎯 Policy｜改进行为。经验保存在策略、价值函数或残差控制里，直接影响下一次怎么行动。专家纠正抓取方向、增加失败后的恢复动作，都可能落在这里。关键是下一次执行能否真正用上。

🌍 World Model｜改进预测与练习。用接触和交互数据修正预测模型，帮助机器人在模型里预演。它可以判断抓取后会不会滑落，也可以提供训练经验。但预测更准确，不自动等于给策略提供了更有效的练习。

🧠 Memory · Skills · Code｜改进复用与恢复。把“这只杯子容易滑”的记忆、一个可调用的重新抓取技能，或者监测滑落的代码保存下来。它们通过检索、调用或运行发挥作用，未必需要更新策略权重。

🔧 Learning Procedure｜改进怎么学。改变采什么数据、怎么判成功、怎么编辑技能、怎么更新策略。这里的直接产物是一套更好的学习流程，需要观察它能不能教出更好的后续学习者。

图 4 把抓取经历、保留位置和用途连在一起。尤其留意虚线：同一份知识可能有第二种用途。一个策略既可以执行任务，也可能成为数据采集器；世界模型既可以预测，也可能参与评估。分类看的是改变被保留在哪里、接下来拿来做什么，不只是系统叫什么名字。

03策略如何从失败里学到新动作？

失败不是一种统一信号。图 5 区分了四种处理方法：重新标注、奖励、纠正和回放。它们改变的是不同的学习材料。

重新标注会重新解释已有轨迹。比如杯子没被抓起，却被推到了另一个位置，这段经验可以服务另一个目标。奖励负责表达进展，专家纠正则补上模型还不会的恢复动作。回放把旧经验与新经验一起使用，帮助保留已有行为。

四种信号并不是随意互换的。一个评分器知道动作失败，不代表它知道正确动作是什么；一个人示范了恢复动作，也不代表模型已经能在自己的动作接口里执行。反馈有价值，还得有能吸收它的优化器、选择器和执行接口。

04世界模型在变，还是策略在固定模型里练？

这组研究最容易被一句“机器人在想象里自我进化”混在一起。图 6 把每个系统里真正会更新的组件标出来，先看箭头，再看名字。

SILVR：先在真实机器人上收集数据，再逐轮调整任务视频规划器；通用视频先验提供固定引导，逆动力学模型另行训练。真实执行回来的成功经验，参与后续规划器的调整。

RISE：动力学模型与价值模型在策略训练阶段保持固定，策略在这些模型提供的条件下改善。它支持策略改进的证据，不能因为使用了世界模型，就推断世界模型也在持续自我修正。

PlayWorld：先收集自主玩耍数据，拟合世界模型与奖励，再训练噪声策略。图中特别区分了冻结的基础策略与可训练的噪声策略。先学模型、再训练策略，和模型策略共同循环更新不是同一种过程。

VLAW：用新的与保留的真实轨迹更新世界模型，再用成功的真实与想象轨迹更新视觉—语言—动作策略，随后再次收集真实数据。图中给出了两轮循环，并标明奖励过滤器的拟合阶段。

因此比较论文时，可以问一句很实用的话：这一轮究竟写了哪个组件？下一轮又读取了哪个组件？只有把更新位置与使用位置说清楚，才能判断这是行为学习、后续学习收益，还是流程改进。

05记忆、技能和代码：修好了，下一次还记得吗？

🧠 机器人终于找到了重新抓稳杯子的办法。如果这一轮结束就丢掉，下次还得从头试。把经验留下来，是累积改进的基础，但保留也有不同形式。

记忆是使用时读取的信息，例如“这只杯子容易滑”；技能是一段具有输入、输出和前置条件的可调用行为，例如 regrasp()；运行代码则可以监测状态、打断动作、执行恢复，再返回原任务。

图 7 把这三种形式分开，并补了一个跨机器人复用检查。观察字段、动作含义、时序、硬件能力和安全约束都得对齐。A 机器人上可执行的修复，不会因为复制到 B 机器人的文件夹里就自动生效。

还有一个容易误判的地方：监测器在不断修改，内部策略可能一直冻结。系统整体表现变好了是真的，但变化来源可能是外部恢复逻辑。这恰好说明为什么综述追踪“改变保留在哪里”。

06主张阶梯：变好这句话，证据要跟得上

🔍 这篇综述不只关心机器人有没有变好，还关心实验足以支持哪一级主张。它把结论拆成行为改进、后续学习收益、学习流程改进，以及递归自我改进。前一级有证据，不自动证明后一级成立。

行为改进问的是同一个机器人能否更好执行任务。后续学习收益问的是留下的数据、模型或知识，能否帮助后来训练的学习者。流程改进再往上一层：修改后的采集器、评价器或更新器，能否教出更好的学习者。

图 8 给出流程改进的对照。两组学习者使用相同起点、训练配方与预算，只替换待测组件。最终结果由独立、固定的检查来判断，不能让刚改过的评价器给自己打分。

除了当前成功率，还要看新任务迁移、旧能力保留和总成本。假如新流程把容易的任务全部挑出来，自己的分数更好看，却没教会机器人处理更难的状态，这并不是我们想验证的学习改善。

07R1 与 R2：递归需要跨过哪两道验证？

🔧 R1：修复知识能否让改进者变得更好？让带有旧知识和新修复知识的改进者，面对相同的新失败历史、工具、目标和预算。它们分别提出学习流程，再交给匹配的机器人学习者训练，比较共同的物理结果。

这里不能只看改进者写了多少条建议。建议最后有没有教出更好的机器人，才是这条关系的结果检验。修复知识从“被保存”走到“帮助修改者做得更好”，是第一步。

R2：变好的改进者能否推动它自己的下一次改进？从更新后的改进者出发，分别使用冻结知识和新获得的知识，让它修改自己，得到对照改进者与下一代改进者。

下一代改进者需要胜过两个参照：冻结知识条件下的对照版本，以及尚未进行这次自修改的更新版本。否则增益可能只是多改了一轮，无法单独归因到递归使用新知识。

图 9 是提出的验证设计，不是已经完成的物理实验成绩表。在每个改进者只有一个候选通过筛选的假设下，每个随机种子需要四个硬件训练的学习者，并且把改进者更新成本单独报告。

现有物理研究已经为前几级主张提供了证据，但综述尚未发现真正隔离出递归增益的研究。有系统修改了改进者的知识或工具，也有系统展示结果提升；缺的是与知识冻结版本对照后，仍能归因到递归的证据。

08收益持续累积的四个条件

💡 反馈有信息量：抓取失败的记录，能否区分缺恢复动作、接触预测错误和评分误判？只有“又失败了”的标签，可能不足以决定修哪个组件。

改变可使用：保存了技能，还需要正确接口、优化能力和调用时机。一个很好的人类纠正动作，如果机器人动作空间无法表达，仍然无法执行。

能跨变化保持：任务、硬件和策略更新后，过去的修复是否继续有效？系统自己的改进，也可能改变数据分布，使原有评价器和世界模型失效。

练习可继续：机器人能否安全、可负担地再试一次？真实世界有时间、复位、设备磨损和人类监督成本，一次危险操作甚至不可逆。

四个条件一起解释了为什么数据量和组件准确率不是可靠的进展替代指标。成功率相似的采集器，可能收集到训练价值不同的数据；预测更准的模型，也可能产生对策略更无用的练习。

09把框架放回真实机器人：六组案例图

下面六幅图来自论文附录。它们展示研究发生在什么硬件与场景里，不能单靠一张现场照片证明递归。带着前面的框架看，会更容易分辨每个系统究竟留下了哪一种改变。

🤖 图 10｜真实硬件练习。从倒牛奶、穿鞋带、USB 插入，到三明治制作和瑜伽球行走。接触、时序与稳定性都直接影响结果。看演示之外，还要问失败如何反馈、修复保存在策略还是外部代码里。

🌐 图 11｜机器人集群。ENPIRE、Learning While Deploying、RoboCat、AutoRT、Open X-Embodiment 和 RoboArena 展示了机器人农场、多本体数据与分布式评测。更多机器人扩大经验来源，也带来接口、标定和评测条件差异。共享经验能否真正改善后续学习，仍需对照。

🌍 图 12｜仿真与现实。HARBOR、EmbodiRSI、DreamGen、PlayWorld、World-Gymnast 和 EmbodiedSWE 把模拟器、视频模型与真实工作区连接起来。这里最值得追踪的是闭合位置：现实反馈是否更新模型？更新后是否再指导真实练习？还是只在固定模型里继续训练？

💻 图 13｜会写代码的机器人智能体。EmbodiedEvo、Show-Harness、HIL-SERL 和 BEE 涉及代码控制、专家介入与在线学习。能编辑代码让机器人成功，不意味着代码编辑者也学会了更好的编辑方法。修改运行逻辑与修改改进者，要分别检验。

🧪 图 14｜自主实验室。A-Lab、Coscientist 和移动机器人化学家把动作变成实验。反馈不仅是抓取成功，还可能是材料性质和实验测量。真实耗材、实验时长与安全约束，让“多试几轮”的成本格外具体。

🚁 图 15｜更多本体。四足机器人、无人机、机械手、移动操作和人类演示采集出现在同一张图里。共同的是从物理经验学习，差异是复位方式、动作接口和风险。一个抓杯子任务里的修复经验，能否迁移到新的故障类型，不能只靠任务数量回答。

10接下来，值得做哪些实验？

综述给出的方向包括评价器对齐、系统变化后的复用、物理资源预算、瓶颈诊断、下一次实验选择，以及修复知识迁移。可以从容易观察修改结果的组件入手，例如奖励构造和技能库编辑。

先把旧评价器和新评价器放进匹配学习者的实验，检查独立结果；再让带旧知识与新知识的改进者处理同一批新故障；最后做知识冻结对照，追踪下一代改进者的收益。这样的顺序能把行为、流程和递归三种结论区分开。

从“机器人会学习”，到“机器人会改进自己的学习方式”，还缺哪些证据？希望这篇综述能为机器人学习、世界模型和自我改进智能体等方向提供共同的讨论框架。欢迎阅读、交流，也欢迎在 GitHub 点个 Star ⭐，在 Hugging Face 点个 Upvote，感谢支持！