−15pp
与其他供应商的同类数据相比，模型在我们任务上的准确率更低。
15 pp
我们
其他
服务客户
(01) 理念
基准终会饱和，模型擅长的只是见过的题。我们编写它们没见过的——原创、可验证，难到足以推动前沿。
(02) 实证
代码，是我们的核心。core.
在 Deep SWE 类任务上，我们将自有数据与其他头部数据供应商的同类数据做了对比：前沿模型在我们的数据上更吃力，推理也更长。
+20轮
平均而言，智能体在我们任务上的交互轨迹比同类数据更长。
其他
我们
基于 Deep SWE 类任务数据的内部对比。准确率以 GPT-5.6-sol 测得；轨迹长度以智能体交互轮数计。
(03) 能力
每套数据集都针对客户要求定制开发。
-
01
代码
仓库级软件工程、算法与优化问题。
核心优势 -
02
复杂推理
覆盖数学、科学等领域的专家级难题。
-
03
多模态
基于图表、示意图与屏幕界面的视觉-语言推理。
-
04
智能体
需要多步规划、调用多种工具的长程任务。
- 05
法律
- 06
金融
- 07
医疗
- 08
安全
0day · 50个私有漏洞 · 二进制分析 · Web 安全与逆向工程
(04) 基准
为最难的评测而生。hardest evals.
我们围绕当下最严苛基准的能力要求设计原创数据集——难度对齐，绝不照搬。
- 01ALE-Bench算法工程
- 02Frontier-Eng工程
- 03HLE专家级推理
- 04HLE-VL多模态推理
- 05Frontier SWE软件工程
- 06Deep SWE智能体编程
- 07Program Bench程序设计
- 08APEX Agents长程智能体
- 09nl2repo仓库生成
- 10cyberbench网络安全
- 11exploitbench漏洞利用
(05) 关于
诞生于北京大学的
研究实验室。research lab at Peking University.
DataMining 由北京大学计算机学院软件研究所的博士团队创立。我们以科研的严谨回答一个问题：什么样的数据，能让模型真正变强？
- 出身
- 北京大学 · 计算机学院
- 专注
- 大模型与智能体任务数据
- 客户
- 字节跳动 · 阿里巴巴 · 腾讯
- 总部
- 中国 · 北京
数字自己说话
我们的任务有多难？我们公布测量结果。
统一预算实测已交付代码任务——GPT-5.6 Sol（xhigh 推理档），每题 4 次有效尝试，相同执行环境与判定：DeepSWE 类任务成功次数均 ≤ 2/4（5 个中 3 个四次全部失败），Frontier SWE 类 4 个中 1 个全败，ProgramBench（3 题、515 个隐藏测试）均 ≤ 2/4。
