怎么验收一份编程 / Agent 任务数据：采购方验收清单

01先说结论

验收分三层：看物证（任务包结构完整、来源可追溯）、跑实测（带口径的 pass@k、判分环境干净）、查验证器本身（它能不能拦住投机解）。多数纠纷出在第三层——买方验了题，没验「判卷的那把尺子」。相关阅读：评估 AI 数据供应商的四个维度（中文 / English）。

02一份完整任务包长什么样

验收从清点交付物开始。一份可训练、可复评的任务包至少包含五类东西，缺一类，后面两层验收就没有落点：

交付物	作用	验收关注点
任务说明书	模型看到的唯一输入	自足：所需材料、约束、交付形态都在文内，不依赖外部上下文
执行环境	任务发生的场所	可从定义重建（镜像/Dockerfile）、可重置重放；声明网络与工具权限
测试与验证器	判定「解没解出来」	判定对象是最终状态而非文字描述；判分环境从干净状态启动
参考解法	证明任务可解、校准难度	附解题思路与证据索引，每个结论能追到输入材料
验收测量记录		模型版本、尝试次数、环境口径、失败轨迹是否留档

同时要知道哪些东西不该给：隐藏测试、参考答案本体、golden patch 是评测资产，交给买方之外的任何人都会摧毁任务的评测价值。验收时验证其存在与隔离性（测试在判分环境里只读、与解法隔离），而不是索要副本。一个真实任务包的公开结构示例见我们的 GitHub 示例仓库（含可运行的验证器样例）。

03跑实测：pass@k 必须带口径

「我们的题更难」这类声明唯一有意义的形态，是在约定模型上跑出来的数字，并说清三要素：哪个模型（含档位）、对比什么、什么指标。验收时要求供应商交付统一预算下的测量记录，例如：固定模型与推理档位、每题 4 次有效尝试、同一执行环境与判分口径。没有口径的数字不进入验收依据。我们自己的口径见前沿任务难度报告 2026，其中的局限声明（记录在案的模型、工具与预算下失败，不代表普遍无能）就是验收记录应有的样子。

04查验证器本身：防 reward hacking 的三个动作

题再好，判分的那把尺子松了，整批数据就是噪声。三个可以直接执行的动作：

一问：验证器是存储了答案，还是独立重算答案？存储型验证器可能被答案抽取和记忆绕过；重算型（对答案空间做独立推导再比对）更抗攻击。

二测：要求供应商用一份故意错误的解法跑一遍验证器并当场判负；再演示一种常见的投机解（例如硬编码测试用例可见输出）也被判负。验证器只对参考解放行、对已知错误解拒绝，才说明它在判「解没解出来」。

三看环境：判分是否从干净状态启动、提交是否以补丁形式在干净容器重放、测试文件对模型是否只读。预置答案文件或残留上次运行状态的验证环境，会让模型学到作弊路径而不是任务能力。

05污染检查：题目是否已在公开世界存在

污染毁掉的是评测的有效性。三个检查：其一，拿题面的核心场景词加解法关键值，在公开基准、代码仓库和学术库里检索，命中即重造参数；其二，检查解法关键值本身——如果答案是著名常数、名题或某仓库的真实 bug，就换；其三，要求供应商声明污染筛查做了什么（查了哪些库、改了什么），没有筛查记录的题库按未筛查处理。

06矛盾性质检：买方可以直接复用的五维度

我们对每份行业专家任务包做交付前质检，五个维度采购方可以直接拿来当复检框架：

① 提示词完整性：解题所需信息都在题面和材料里；② 文件与标识一致性：文件名、路径、编号跨文件对得上；③ 参考交付物正确性与可推导性：参考答案从材料推得出来，每个结论有出处；④ 参考交付物跨文件一致性：多文件任务里各文件互不矛盾；⑤ 评分标准质量：Rubric 能按写出的样子执行。我们真实判过的一个例子：流调任务材料未记载晚餐时间，参考答案却按 18:00 假设推算潜伏期——这类错误会改变专业结论，质检要标高风险并明确写「不建议提交」，而不是提醒了事。

07常见验收陷阱

难度声明无口径——没有模型、对比对象、指标三要素的按宣传处理。公共基准冒充原创——把 SWE-bench 类公开题换皮交付；对照污染检查方法核来源。demo 不等于量产——给验收看的十道精修样例与量产批次的质量可能不一致，验收条款要约定量产批次的抽检比例与返修规则。环境不可复现——环境依赖供应商主机上的未记录状态，重置不了；接训练流程前必须先验重置重放。

08POC 怎么安排

第一次合作建议：小规模真实 POC（几十条，覆盖你真实业务切片）→ 采购方自己保留的隐藏测试集 → 分批验收，每批保留失败轨迹作为证据 → 合同条款写明任务包五类交付物清单、复验周期与不过的处理。验收清单本身就是谈判材料：把第 02、04、06 节的检查项写进条款，比任何口头承诺都有约束力。

09相关材料

已交付数据集与 RL 环境目录见数据集页；难度口径与局限声明见前沿任务难度报告 2026；可运行验证器样例见 GitHub: datamining-ai/eval-task-examples。想按这份清单走一轮 POC：contact@datamining.cloud。