35 条评分点卡死模型：大厂采购 Agent 数据，开始像买试卷一样买
专业 Agent 数据已经不是文本生意，是可判定生意。单题不少于 35 条原子级 Rubrics、0.70 与 0.85 两条判分死线、正负权重对冲，拆开大厂采购规范背后的判分器工程。
专业 Agent 数据已经不是文本生意了，是可判定生意。卖字数的时代结束了，卖判分标准的时代开始了——一道题不写满 35 条原子级 Rubrics，连入库的资格都没有。
01采购方不打分，采购方卡模型
先看说明书里最狠的一段。验收清单第一页不是评分表，是一张一票否决黑名单：
- ❌ 单点事实、日期或定义查询——哪怕你在 Prompt 前面套一个「假设你是顶级律所合伙人 / 三甲医院主任」的角色壳子，只要一次搜索能解决，就是垃圾题。
- ❌ 单份文档摘要、普通润色、翻译、排版——只有信息压缩，没有形成跨材料比较、业务判断或项目交付。
- ❌ 靠字数或硬拼造出来的「伪长程任务」——把上百页篇幅、或者把几个互不相关的小任务捆在一起，判为无效。
- ❌ 模型试做 40 分钟以内能跑完的场景——复杂度判定不合格，建议直接淘汰场景。
那甲方真正愿意掏高价买的「好题」长什么样？就两个核心标准：第一，做错会出大事；第二，暗藏真实业务陷阱，模型极其容易踩坑。
「强价值证据」：这道题错在现实里要赔多少钱
现在立项一道题，必须先写清楚它的强价值证据：这件事在真实企业工作流里，到底直接影响收入、成本、交易还是合规？如果模型做错了，会造成什么具体的现实损失——算错适用税率导致补税罚款，漏看补充协议导致违约交割。
「业务暗礁」：难点必须像真实职场一样埋，不能送分
规范绝对禁止出题人在题干里「送分」。不准写「请注意核对以下三个异常数字」。难点必须悄无声息地埋在杂乱的输入材料里，而且题干绝不提醒哪份是废纸。
我们把最常用的五种埋坑法列出来，每一种背后都是模型真实翻车的地方：
- 多源材料互相打架：合同正文写的交割日期，和后面附的审批邮件截图里的日期不一致，看模型是盲信主合同，还是能交叉核对出差异并给出条件结论。
- 台账里混入脏数据：在几千行订单或流水台账里原汁原味保留已撤销、重复录入、跨期结算的记录，看模型能不能严格按业务口径洗出有效明细，且最终总额能回溯到明细。
- 主材料残缺但有同批备份：主清单故意缺失几条关键记录，附件包里放了同批次的备份表和来源说明，考验模型会不会主动去核验备份的可靠性再决定是否采纳。
- 过期索引与失效线索：给一份已经失效的旧版文件索引，同时在包里塞入更新清单和原始凭证（甚至带扫描件、手写批注影印件），逼着模型自己顺藤摸瓜找依据。
- 不超过 1/3 的真实噪音干扰项：一个任务包塞十几个文件，允许有高达三分之一的文件是真实业务中顺手抄送、但跟最终结论毫无关系的干扰材料，而且题干里绝不提醒。
ALE（Agents' Last Exam，arXiv:2606.05405）把 1,490 个专家任务实例的失败原因做了完整归类，结论很直接：
图：ALE 对 1,490 个专家任务实例的失败归因。外圈是具体失败模式：领域知识缺失 25%、策略选择错误 30%、产出不完整 17%、格式错误 10%、实现缺陷 8%、幻觉 6%、GUI 操作失败 4%；内圈是三层归因：理解层 31%、方法层 47%、执行层 22%
换句话说：模型不是「看不懂」，而是「看懂了但用错方法」和「做了一半就收工」。所以题干设计的目标不是让它看不懂，而是让它在正确理解之后仍然走偏。
而判分方式也随之换代。AutomationBench 的流水线把这件事讲得最清楚：
图：AutomationBench（arXiv:2604.18934）的判分流水线：任务提示 → AI Agent（搜索工具发现 API、执工具调用 API）→ 模拟应用状态作为事实来源 → 确定性断言 → 通过/失败 + 成本。底部蓝框是关键：正向检查「必须达成的状态」+ 反向检查「绝不能出现的状态」；左侧虚线框是环境噪音：干扰记录、陷阱邮件、时区诱饵、对抗性覆盖
这就是本轮验收标准和上一代「专家打分表」的根本差别：判分从主观降到了确定。正向检查对应「必须做到什么」，反向检查对应「绝不能出现什么」——后面那几条 −7、−10 重罚项的技术来源，就是反向检查。
验收官在听什么：这道题的判分，能不能完全由脚本判完？只要还有一条需要人读主观感受，它就进不了自动评测管线。
「验收方不问你的题有多难，只问你的判分能不能被机器复现。」
02一道题为什么必须拆成 35 条原子 Rubrics
过去给复杂交付物打分，写法是这样的：「逻辑清晰得 20 分，数据准确得 30 分，分析全面得 50 分。」
这种主观糊涂账在 2026 年的强化学习和自动化评测管线里，连入库的资格都没有。LLM-as-a-Judge 每次看到「分析全面」四个字，打出来的分都不一样——它没法给模型提供稳定的梯度信号。
现在一线执行的是一套近乎强迫症的原子化正负向权重 Rubrics 体系：
硬性数量门槛：单题不少于 35 条独立评分点
仅仅一道题，专家必须拆解出至少 35 条评分标准，并且严格归类到 7 大一级维度（指令遵循、内容质量、结构与组织、操作与交付安全、安全合规、超预期贡献、视觉美感）和 6 大二级维度下。其中「内容质量」的正向分值占比不能低于总正分的 30%。
原子性与可核查性：一条只准检查一件事
每一条 Rubrics 只准检查一件事。严禁出现「且」「同时」「并且」这种把两件能单独出错的事捆在一起的写法；严禁「见第 N 条」「基于上一步结果」的前后耦合。
甚至严禁「满足 6 个条件加 10 分」这种数数查表式规则。必须全部拆成独立、非黑即白（命中记 1，未命中记 0）、且明确标注「待查交付物文件名」的客观断言。
正负向权重对冲：+10 / +7 / +3 与 −10 / −7 / −3
评分不再是百分制累加。「年度总额与月度明细之和一致」记 +7；模型一旦踩中预设的业务陷阱——比如把已作废的旧版数据当成最终依据，或者对外交付物没遮盖客户身份证号——直接触发 −7 甚至 −10 的重罚。所有扣分项绝对值之和控制在总正分的 50% 以内。
归一化得分：正负向加权求和后除以总正权重
落到我们外发给专家的采集表上，字段长这样：序号 / 评分细则 / 权重 / 主客观性 / 权重判分理由。
下面是一道真实医疗流调任务的实际权重分布。15 条评分细则：正向 4 条 +10、5 条 +7、1 条 +3（正分合计 78 分）；负向 1 条 −10、3 条 −7、1 条 −3（扣分绝对值合计 34 分，占总正分 43.6%）。挑几条原文看：
- 「正确判断可疑餐次为『8月8日晚餐』，且引用『7名就诊人员全部食用过8月8日晚餐、仅1人食用9日午餐且仅食几只虾、共同就餐史唯一』等材料依据」→ +10。判分理由写得很直白：关键结论必须可回溯到附件1「流行病学调查情况」段落。
- 「未编造实验室检测结果或确诊病原体（如『检出沙门氏菌』『确诊为XX食物中毒』）」→ −10。理由：出现任一编造即扣分；本题材料不存在任何检测结果。
- 「将『疑似/可疑』表述为确诊结论」→ −7。
- 「引用潜伏期数值与附件5明显不符且无依据说明」→ −3。
注意这 15 条里没有一个形容词。全部是「这句话里的事实，能不能在附件 3 的第几行找到」。这就是「原子性」的实际含义——它不是文风要求，是为了让判分器能判定。
我们交付的一道真实医疗专家任务包结构（任务号 medical-20261015task001，已去标识）：input_files/ 放 5 份模型可读输入材料，其中附件3 明确标注为干扰文件；solution/ 放 4 份专家参考交付物，含「专家解题思路与证据索引」。底部是命题设计要点：真实多步工作、干扰文件、假设显式声明、专家自审
看清楚「干扰文件（否）」这个标注：它只写在提交说明里。模型在 input_files/ 里读到的是一份格式完全正常、字段完全规范的《食品安全事故食品卫生学调查信息汇总表》。模型必须自己判断它与本题无关。
这就是「暗礁」和「送分」的分界线。
这道题从哪来：不是专家坐在电脑前想出来的
ALE 把任务构造的全部 5 个环节公开了：
图：ALE（arXiv:2606.05405）的任务构造流水线：行业专家外联征集 → 专家提交与编辑 → 自动审（Agent 初审）→ 执行与工程师复核 → 质检委员会终审
而这套流程的漏斗，ALE 也公开了：
图：ALE 的来源与评审流转。960 份专家外部提交的变体中，128 份 strong accept、369 份 accept、157 份 borderline accept、158 份 minor revision、148 份 major revision；另有 530 份由内部委托创作。右侧总任务池 1,490 个实例＝150 公开 / 1,017 私有 / 323 未验证
960 份外部提交里，只有 128 份拿到 strong accept——通过率约 13%。这说明专家交上来的东西，绝大部分一次过不了关。
「一道题的难度不写在题面上，写在它被退过多少次里。」
03改卷才是噩梦：0.70 和 0.85 两条死线
题目、材料、金标、35 条 Rubrics 全写完了，就能交差了吗？不能。说明书里还有最后一道关，而且这道关才是真正劝退专家的：
- 专家金标必须 > 0.85。把专家写的参考答案 solution/ 放进他自己写的 Rubrics 里跑，得分没有超过 0.85，说明你的金标有遗漏，或者你的评分标准自相矛盾——退回重改。
- SOTA 试做必须 < 0.70。把当前最强模型的产出 output/ 放进同一套 Rubrics 里跑，得分达到或超过了 0.70，说明你的题出简单了，没拦住模型！你必须回到题干和输入材料里，继续往台账里埋雷、加交叉核对条件、加多产物约束，重新试跑。
- 连改 5 次还是压不下，整个场景作废重选。
这三条把「出题」变成了「对抗出题」。你要的不是一道模型做对的题，而是一道模型只能做对一半的题。
更隐蔽的陷阱：判分器自己也会错
但这里有个更隐蔽的问题——判分器不是人。DeepSWE（arXiv:2607.07946）做了一次大规模的人工裁决比对，把「验证器判错」的两个方向都量化了：
图：DeepSWE 与 SWE-Bench Pro 的验证器误差对比。上：假阳性率（验证器放行、人工判定为错），DeepSWE 0.3% vs SWE-Bench Pro 8.5%。下：假阴性率（验证器拒绝、人工判定为对），DeepSWE 1.1% vs SWE-Bench Pro 24.0%
所以，如果你的 Rubrics 里混进一条写得含糊的规则——「交付物结构清晰、结论表述专业」——那么它既可能放过一个错误的产出，也可能误杀一个正确的产出。前者让模型白拿分，后者让模型白扣分。两种错误都会把「0.70」这道红线变成一道假线。
所以我们的质检报告里，有一条专门叫「Rubrics 质量」的检查项：是否只评价明确要求且可观测的输出，口径是否闭合，是否重复扣分，正向项与惩罚项是否独立。
一份真实交付包的矛盾性质检报告（已去标识）。质检对象为任务提示词、专家解题思路、input_files、solution 与任务 Rubrics，质检日期 2026 年 10 月 19 日，结论是「不建议直接提交，需进行重大修订」，并逐条列出问题：任务编号与目录映射不统一、参考答案含多处不可由材料稳定推出的医学事实、负分项极性写反、重复扣分、权重口径不完整
注意这份报告的结论是打回，不是「通过」。对应的修订优先级分三级：
同一份质检报告的「修订优先级与最终判定」：3 条 P0、2 条 P1、1 条 P2，逐条给出必须完成的修订与完成标准。最终判定写明：当前版本在「提示词基本要素」方面可通过，但在标识一致性、参考答案可推导性、医学推理正确性和评分独立性方面均未通过，完成 P0 修订并重新做跨文件核对前，不宜作为正式专家任务提交
顺带解决一个常见错误：同一个错误不要扣两次分
同一份报告给的 100 分正向量表是这样分配的：
质检报告给出的 100 分正向量表：8 个正向维度——交付完整性与文件格式 8 分、材料事实与不确定性处理 18 分、病例定义与三间分布 12 分、共同暴露与可疑餐次 14 分、潜伏期与致病因子匹配 16 分、采样与检测建议 12 分、补充流调与职责边界 10 分、跨文件一致性与表达质量 10 分；每条只评价可观测的输出
文末那半句才是关键：「不要对事实错误、潜伏期引用错误和餐次判断错误设置负分，因为这些已经在对应正向维度中计分。」
这就是「负分项极性写反、同一失败既失分又重复扣分」被列为打回原因的原因。
「同一个错误被扣两次，模型学到的是躲评分官，不是把活干对。」
验收官在听什么：你这条 Rubrics，模型做错了会被扣分，做对了也会被扣分吗？如果会，你的扣分项和正向项重叠了。
04为什么散装专家接不住这单
把上面这套标准读完，就能理解为什么全行业都缺这类高质量的专业工作流题目包。
传统的派单模式是：找几百个律所律师、四大审计师、券商分析师或者资深工程师，把说明书往微信群里一丢，让他们自己在家填 Excel 表。结果必然是灾难性的，而且卡在三个地方：
领域专家不懂「模型怎么犯蠢」
一个资深审计师很懂怎么做平账目，但他不知道模型在面对跨表核对时会漏看哪一列。让他凭空去把模型分数压到 0.70 以下，改五遍题干也改不到点子上。
领域专家写不出「程序级原子化」的 35 条 Rubrics
人类专家习惯用自然语言写连词（「既要核对 A 表，同时要确保 B 表无误」），习惯写模糊评价。让他们写出 35 条互不耦合、正负向比例严丝合缝（+10 不少于 2 条、内容质量 ≥30%、负分 ≤50%）、文件名一一对应的原子级规则，返修率极高。
手工做「模型试跑与迭代压分」效率极低
每改一次输入台账里的两个数字，就要重新跑几十分钟的模型试做、重新拉一遍 35 条标准的逐项打分校验。没有自动化工具链辅助，一个专家磨一道题要磨上好几天，根本形不成工业产能。
要满足这种级别的交付需求，核心秘诀从来不是「拉更多的人头」，而是把「领域专家的真实业务经验」装进「懂模型死穴的工程化流水线」里。
顺便纠正一个常见误解：把题做长不等于把题做难
DeepSWE 的语料统计把这个区别量化得很清楚：
图：DeepSWE 与 SWE-Bench 的语料对比，三个子图。平均提示长度：Verified 1,700 / Pro 4,614 / DeepSWE 2,158 字符。平均参考解新增行数：9.9 / 120 / 668 行。平均参考解改动文件数：1.2 / 5.1 / 7.4 个
提示词最长的 SWE-Bench Pro（4,614 字符），参考解改动的文件数（5.1 个）和代码量（120 行）反而都低于 DeepSWE（7.4 个文件、668 行）。难度的载体是「要同时满足多少条互相牵制的约束」，不是字数。
再看 ALE 的任务分布会更清楚：1,490 个实例覆盖 13 个行业集群、55 个细分领域，从工程与架构（368）一路排到法律（15）：
图：ALE 的 1,490 个任务实例在 13 个行业集群下的分布与二级领域细分：工程与架构 368、计算与数学科学 237、视觉与媒体艺术 226、商业与金融 189、健康与医学 155、生命科学 111、物理科学 46、运输与安全 35、教育与信息 33、心理与神经科学 27、社会科学 26、农业与环境 19、法律 15、其他 3。每个细分条形区分已实现（深色）与未验证（浅色）两部分
「把题做长是体力活，把题做出多条互相牵制的约束才是工程活。」
05我们怎么把这套标准跑成流水线
上面每一条验收线，对应到我们的交付上是三段固定工序，外加一道自动拦截。
专家命题：把真实业务母本封成自包含离线包
闭卷任务必须做成自包含离线包：不准把外部互联网检索当成解题必经之路，所有需要的法规、行业标准、原始台账全部脱敏后封进 input_files/。
同时严禁使用 AI 合成或捏造输入材料与金标答案（solution/）——因为 AI 编出来的企业台账一眼假，根本训不出真实工作流的鲁棒性。
命题成本也写进说明书：题目、提示词、参考答案和 Rubrics 全部由专家本人完成，提交前逐项自审，包括核对任务编号与目录映射是否统一、B/C/D 区文件清单与实际情况是否一致、参考交付物里的占位信息是否替换干净、是否如实记录人工脱敏和复核情况。
同样的结构，在法律线上是这么落地的——一道破产重整与上市公司公告案的任务包，输入材料 33 份：
我们交付的一道法律专家任务包（破产重整·上市公司公告案，任务号 05-法律专家任务采集表_v2.0）：input_files/ 放 33 份模型可读输入材料（黄色高亮的第 33 份是混入的不同来源文件），solution/ 放 2 份专家参考交付物（参考答案.xlsx + AI 工作底稿），同批还有《任务采集表_外发专家版_v2.1.xlsx》与采集表 v2.0
回到 ALE 那个漏斗——960 份外部变体只有 128 份 strong accept。这条数字应该让每一个甲方重新算一遍自己的专家产能账。
算法团队帮专家精准埋雷
专家提供真实的业务母本与脱敏台账，我们的算法团队根据模型在多源交叉核对、跨期脏数据过滤、失效索引回溯上的弱点，协助专家把「真实业务暗礁」精准埋进材料里，一次命中模型的死穴，缩短试做返修周期。
这套能力在代码任务上有可比的数字。在 Deep SWE 类任务数据的同口径对比中，GPT-5.6-sol 在我们数据上的准确率（ACC）较所比较的其他各家供应商同类数据低 15 个百分点，对应的智能体推理轨迹长约 20 轮。
这组数字说明的是任务对该模型更有挑战性、模型产生了更长的推理过程；它不等于训练收益更高，也不能直接推成整体质量排名。
矛盾性质检：不通过就明确写「不建议提交」
专家交付的包不直接提交，先过一遍矛盾性质检，报告与任务包一一对应。五个检查维度：提示词完整性、文件与标识一致性、solution 正确性与可推导性、solution 跨文件一致性、Rubrics 质量。
判定口径是「通过 / 基本满足 / 部分满足 / 不满足」加风险等级（高 / 中 / 中高），再给 P0 / P1 / P2 修订优先级与完成标准——不通过就明确写不建议提交，而不是含糊提醒。
Linter 拦截数学规则与语法规则
所有人工编写的题目包在进入双盲专家复核之前，必须先过一遍自研的工程化校验脚本：
- 包结构硬校验：自动扫描采集表里的《参考材料清单》《交付物清单》与 input_files/、solution/ 下的实际文件名、扩展名、目录层级是否对齐；自动检测干扰项占比是否严格 < 1/3；自动检测是否残留模板示例文本与程序元数据。
- Rubrics 数学与语法强校验：自动统计评分点是否 ≥ 35 条、+10 权重是否 ≥ 2 条、「内容质量」正分占比是否 ≥ 30%、负向扣分绝对值之和是否 ≤ 总正分的 50%；同时用规则引擎扫描每一条评分点描述，一旦发现复合连词、跨条目引用或未标注待查交付物文件名，当场拦截修正。
最后是多模型盲测与金标自检：内部调度主流模型完成初试产物生成与独立会话评分校验，确保每一道交出去的题目包天然满足「模型初试 < 0.70、专家金标 > 0.85」，再经两位资深领域专家背靠背双盲复核，才最终封包交付。
「门槛不写在合同里，写在验收单上。」
06结语：专业 Agent 数据的「手工作坊时代」结束了
2026 年 Q4 的行业风向已经非常明确了。
无论是能操作系统的 GUI Agent、能写代码的 SWE Agent，还是能替企业干活的法律、金融、财税、运营等通用行业 Agent，大厂要买的不再是一段段散装的文本。
它要买的是一个个标准化工程包：自带真实业务上下文（input_files/）、自带权威交付金标（solution/）、自带 35+ 条原子级机器可判准则（Rubrics），而且实测能把 SOTA 模型干趴下（得分 < 0.70）。
纯靠 AI 洗稿的投机者已经被防伪规则清场；纯靠散装兼职专家的手工作坊，正在被复杂的包结构、35 条原子级 Rubrics 的算术题和 0.70 的难度红线折磨得交不出货。
只有同时具备各行业一线专家网络与懂模型死穴的工程化质检管线的团队，才能把这种高难度、纯人工原创的题目包做成稳定、高吞吐的工业品。
如果你们正在构建法律、医疗、金融、财税或通用运营类 Agent 的训练与评测集，正在为专家产能慢、题目难度压不下去、Rubrics 原子性返修率高而头疼，可以围绕目标能力和验收标准来交流任务数据需求。
关于 DataMining 北京大学计算机学院软件所博士生团队组建，为大模型与智能体研发提供原创任务数据与可执行评测环境，交付可复现的 Rubric 评分准则、独立可启动的 Harbor Task 容器环境与验证器。文中基准均为公开第三方基准，我们只对齐能力要求与难度区间，不复制题目。官网：datamining.cloud。样例申请与技术对接：contact@datamining.cloud