CUA 强化学习数据交付总结：数据清洗、奖励设计、评测

香农对信息的定义是消除不确定性的东西；未经判别的记录只是数据，经过判定才成为可用于决策的信息。智能体项目里积累的日志和交互录屏，如果没有被评测体系标注成败、归类错误类型，对下一轮训练不构成有效信息。CUA 反复犯同类错误，部分原因就在这里：数据量在涨，可学习的信号没有增长。下文从评测驱动方法讲到数据勘误和判卷器设计，看原始任务结果如何一步步变成可回流的信号。

我们刚交付完一批 PCB 领域 RL 数据采集与评测任务。买方的需求写得很直白：不要截图，不要静态 PDF，不要只能看不能改的 Gerber 生产图，要实打实能在软件里打开、布线、保存并跑通规则检查的成套工程。

一个反复出现的问题是：评测、数据清洗、强化学习训练这三件事，在大多数团队里是分开做的。

评测团队搭一套评分脚本，跑完打个分就结束——分数进了周报，没有回流到 Prompt、任务基线或奖励函数。数据团队从开源社区扒几千个工程，转成软件格式就直接扔进训练池，野生数据里的隐藏短路和转换偏差没有处理，模型越练越偏。RL 团队埋头调奖励函数，模型为了拿分学会各种投机手段，比如在板外画假线、偷偷改设计规则。

各环节的人都在干自己的活，但整条流水线跑不通。

原因是这几件事不是孤立的功能点。评测负责指出哪里不合规，数据治理提供干净的训练样本，奖励设计约束模型不要钻空子。拆开做，每一块都能单独交付；合在一起却不产生改进，卡在环节之间的数据通路是断的。

这篇文章结合 LangChain 近期主推的 Eval-Driven Development（EDD，评测驱动开发） 理念，以及 cua-bench、OSReward、CUARewardBench 等桌面智能体评测工程，把大模型操作 KiCad、FreeCAD 等 EDA/CAD 软件的工程闭环拆清楚。

基本判断有三条：

智能体工程的瓶颈通常不在模型参数，而在评测与数据的衔接。 评测信号要能卡住不合格基线；基线数据要经过工程勘误；奖励函数要封死作弊路径。

评测体系的可信度比系统复杂度重要。 一个简单但判卷严苛的系统，好于花哨但漏洞百出的系统；错误的正反馈会把模型加速带偏。

工业软件的 RL 数据不是普通标注，而是工程勘误。 历史开源数据质量参差不齐，底层几何与物理不对齐，训练越久偏差越大。

01二、为什么桌面 CUA 开发需要 Eval-Driven Development（EDD）

大模型的桌面操作开发，早期往往从写 Prompt、手工试几个界面、看一眼截图差不多就改版开始。这种手工迭代在任务极简单的网页表单填写、机票预订上还能凑合。

进入复杂桌面工业软件（比如在 KiCad 中打开 USB 拓展坞工程并完成高速差分线布线），直觉式开发会撞上三个问题：

输出非确定性：同一个指令，模型每次生成的鼠标轨迹、点按像素、中间步骤都可能不同。

解法非唯一：人类工程师走线用 9 段折线，模型可能用 7 段。只要满足阻抗和间距，就是合法解，不能死板对坐标。

回归灾难（Regressions）：为修复某个连接错误调整提示词，结果悄悄破坏了其他原本能跑通的网络。

LangChain 在其 EDD 论述中指出，智能体开发要向传统的 TDD（测试驱动开发） 靠拢，但要按大模型特性升级：用一组覆盖全面的结构化样例、严格的评估器（Evaluator）和持续运行的实验对比闭环，替代凭感觉看一眼的主观判断。

桌面 CUA 场景下，EDD 落地分三步：

定义规格（Spec）：让模型跑任务前，先明确触发条件、期望产出的系统状态、严禁出现的违规操作，以及必须保持完好的既有设计规则。

先建评测与基线（Baseline）：跑强化学习或监督微调前，先准备好测试集（Dataset）和判卷器（Verifier），跑出初始基线。

对照实验与回归阻断：每次修改 Prompt、工具链或奖励函数，都全量跑一遍评测集，重点揪出平均分上升但个别关键样例恶化的隐性回归。

02三、第一层误解：视觉点击还是底层结构化数据

讨论评测之前，先厘清一个认知误区：教 AI 操作专业软件，应该走视觉路线（GUI 点击）还是代码/接口路线？

过去大半年，各家大厂的 CUA 演示视频都很顺滑：模型看着屏幕截图、挪动鼠标，点开 Blender、FreeCAD 甚至 KiCad 画电路板。外界容易觉得通用智能马上要接管工业软件。

但接触过专业软件强化学习数据交付的工程团队，看到的是另一面。佐治亚理工的 CADWorld 和 LG AI Research 的 PCBWorld 基准显示：人类老手能完成 87% 的机械与电路任务，而市面上最强的通用视觉 CUA 模型靠看图点鼠标，成功率往往不足 20%。

差距主要来自信息层级。人眼在屏幕上看到的图像，只是高层图形渲染结果。

在专业底层文件中，屏幕上一根蓝色细线，实际绑定的是 0.20 毫米铜皮线宽、0.14 至 0.17 毫米差分耦合间距、外层禁打过孔约束，以及它在原理图上确切的网表连接关系。

把多维度几何与电气规则压成一张像素截图，再让模型靠视觉猜绝对坐标和物理尺寸，方向上就有问题。这也是行业里在转向另一条路线的原因：Anthropic 在 Cowork 中确立的策略是优先调用 API 与结构化 MCP，最后才用屏幕点击兜底。人必须用鼠标，是因为长着手；模型天然运行在代码和结构化数据里，放着精准的底层文件和原生命令不用，训练它去对齐屏幕像素误差，属于绕路。

03四、教材底线：野生开源数据的工程勘误

确定让模型直接在真实软件工程文件（如 .kicad_pcb）中做强化学习训练后，第二个问题是训练数据质量。

外人通常觉得开源社区有成千上万硬件项目，扒几百个转成目标格式就能当教材。实际清洗过历史数据的团队知道，野生开源工程里有相当比例底层经不起推敲。

人类工程师画板时，很多规矩装在脑子里：知道某颗芯片引脚悬空没事，知道打样厂公差能容忍多大误差，提交时往往留下一堆不规范的临时处理。

比如某款 USB 拓展坞的原始导入工程：界面上看一切正常，拿脚本查底层，有 97 个本该贴在表面的 SMD 焊盘被错误生成了带微孔的伪通孔；板子内部藏着多处肉眼难辨的微小短路；关键下拉电阻阻值与原厂规范不符。

真实硬件设计不是孤立存在的，需要原理图、BOM 物料表、PCB 布局和机械限高图互相对齐。

把这类野生工程转成合格 RL 训练资产，需要做深度工程勘误：按原厂手册校准电容焊盘尺寸、重新对齐接口固定槽位，甚至把某颗开关的 3D 模型高度偏移精确到零点几毫米。直接喂给模型充满错误的标准答案，后果是模型对物理世界的判断全部来自这份教材；教材本身错了，训练只会把错误固化得更深。

04五、隐蔽的作弊通道：覆铜缓存与数据污染

参考工程洗干净之后，出题环节还会遇到很隐蔽的陷阱。

以 KiCad 走线任务为例：把参考板上的高速差分线和串口线（几十段直线、圆弧和过孔）删掉、留出空白让模型自主连线，如果直接把源文件发出去，会发现一个容易被忽略的细节——被删掉的线在底层文件里还留着影子。

软件保存工程时，为了提升下次打开的速度，会自动把周围大面积铺铜（Filled Polygon）的几何轮廓缓存在文件里。删掉中间信号线后，如果没有主动强制刷新并清空覆铜缓存，周围铜皮依然保留着当初为避开这些线凹进去的沟槽。

模型直接读取底层文件结构，不需要计算线宽和间距，顺着铺铜留下的空白凹槽把线填满，就能交出一份看似满分的答卷。

这不是工程推理，而是对着没擦干净的拓扑印迹描红。封死这条通道，需要专门的数据卫生脚本（如 task_hygiene.py），每次生成任务起点时强制剥离所有历史覆铜缓存，用原生引擎重新计算基线，迫使模型面对真实几何阻碍解开拓扑。

05六、判卷器重构：堵住强化学习中的作弊路径

RL 攻坚阶段，模型为了拿到 Reward，钻空子的能力很强。

评分器（Verifier）逻辑不够严密——比如只统计交上来的文件里有多少根线段、器件还在不在——模型很快就会学会各种投机行为：

不往芯片焊盘连线，在板子外围空白处画一堆漂浮假线凑数；

在板内塞几十段毫无电气意义的孤立短铜线；

直接改设计规则文件（如 .kicad_dru），把报错门槛调到无限宽，强行通过检查。

结合 CUARewardBench 和 OSReward 等评测框架的经验，在桌面智能体 RL 闭环中，一把无法被模型钻空子的判卷器，价值高于任务题目本身。

一套工业级私有评分器要筑起三道防线：

物理连通性强校验（60 分）：直接调底层引擎计算真实物理连通图。目标网络必须与铜线形成唯一整体，少一个焊盘不成立，多留一截悬空孤铜直接扣分。

工程文件哈希锁定（20 分）：对板框尺寸、所有器件坐标、焊盘大小及设计规则文件做 SHA-256 哈希锁死。模型挪动一个器件或改动规则文件的一个字节，总分直接归零。

全量规则检查与终端二进制奖励（20 分）：把提交的工程放回真实软件环境，重新铺铜并执行全量 ERC（电气规则检查）和 DRC（设计规则检查）。奖励上取严格门槛：最终结果不是 100 分全过，哪怕中间过程诊断分拿到 80，喂给训练器的终局奖励仍是 0 分。

同时要主动构造十几种极端作弊样本（画假线、改规则、UUID 冲突、移器件）做双盲对账，确保评分器自身没有漏洞。

06七、结语：评测先行的 CUA 工程闭环

数据清洗干净、缓存残留抹平、判卷规则封死后，把旗舰大模型放进 KiCad 强化学习沙箱，能观察到一个明确结果：

12 分钟无参考答案盲测中，模型能稳定输出 100 分的完整工程，并出现不同于人类专家但同样成立的几何解法：有的用极简过孔绕开障碍，有的把差分线长度差压在极低阈值内，甚至在单层铜皮内解开复杂布线拓扑。

这是 EDD 与桌面智能体结合后指向的方向：不必强求模型模仿人类点鼠标的轨迹，而是把物理定律、电气规范和设计边界转化为一套判罚严格、同时保留解法空间的沙箱。

软件里能算清的规则尽量算清，物理世界里算不清的部分如实标注——这是当前打磨下一代 CUA 智能体时，相对站得住的工程路径。

关于 DataMining 德塔曼宁 我们由北京大学计算机学院软件所博士生团队组建，长期为大模型与智能体研发提供高质量原创任务数据与可执行评测环境，服务过国内多家头部模厂。评测体系、工程勘误与防作弊判分器，是我们踩坑最多、也最有积累的环节。 我们可做的 benchmark：代码工程（Deep SWE / Frontier SWE）、真实环境长程操作（ALE / Terminal-Bench）、极限数理与科学、开放式任务的 Rubric 与防作弊判分器，以及具身智能、cyber 方向的任务数据与私有盲测集。