DeepSeek 把每任务成本打到 1.3 元,比 77 分更该看的是刻度
10 月 17 日,DeepSeek 上线 V4.1-Flash-1017,官方口径是「性能与成本的帕累托改进」。真正的新东西不是分,是分旁边那条成本轴:发布图直接画成了通过率对每任务成本的散点,最高点 77.0% 出现在每任务约 1.3 元的位置。我的判断是,模型发布的计量单位正在从分数变成「分数除以成本」,而支撑这个单位的评测刻度,恰好在这一个月里被两篇工作从两个方向拆开过。
011017 改了什么
先把事实摆清楚。1017 是 V4.1 Flash 的后训练迭代,不是新架构。官方列的变化有三类。
第一类是成绩。DeepSWE v1.1 的 Pass@1 从上一版的约 74% 提到 77.0%,测试用的是 mini-swe-v2 框架。任务运行时间和输出长度同时被压短,这是成本下降的直接来源,不是单价下调。
第二类是能力取向。官方强调「从零搭建完整项目」,演示包括故宫 3D 建模、网页赛车游戏、Godot 复刻《传送门 2》。支撑这个能力的是基于自反馈的强化学习:模型写完第一版后自己运行、自己检查、发现问题回头改,这个循环在训练阶段被奖励信号固化下来。模型针对 DeepSeek Harness、腾讯 CodeBuddy、WorkBuddy 做了联合优化,Harness 要升到 0.2.1-rc.1 以上。
第三类是工具开放。自研搜索引擎拆成 Search 和 Fetch 两个 API 放出,按成功请求计费,每千次 5 元,11 月 1 日前免费。Agent 调用搜索不再需要自己拼第三方服务。权重当天放上了 HuggingFace 和 ModelScope。
02每任务成本进入发布标配
DeepSWE 这个基准需要先交代来历。它是 Datacurve 在 2026 年 5 月发布的,113 道原创长程软件工程任务,覆盖 91 个活跃开源仓库和五种语言。设计动机针对 SWE-bench 系的两个老问题:题目从公开 GitHub 提交里挖出来,模型训练时大概率见过;评分用的测试是当初为了确认那一个修复写的,换种正确实现可能过不了。DeepSWE 的题目从零写、不回传上游,每道题配手写的行为验证器,接受任何实现了需求的方案。按 Datacurve 自己披露的数字,独立 LLM 复核时对它的验证器只有 1.4% 的分歧率,对 SWE-Bench Pro 继承测试的分歧率是 32.4%。
在这个基准上,DeepSeek 画的那张图才有意义。Datacurve 公开榜单上,Claude Opus 5 每任务约 11.84 美元、通过率 74%,GPT-5.6 Sol 每任务约 8.39 美元、通过率 73%。1017 把最高点放在 1.3 元人民币。即使考虑框架差异,这也是数量级的差距。Hacker News 的发布帖下,从业者的反馈集中在成本体感上:有人说 200 美元的 Claude Code 订阅 24 小时内跑完一个项目,有人说 8 美元一个月的 OpenCode 用 DeepSeek 模型,比 6 月时 200 美元的美国厂商账户给得更多。这类说法是个体经验,不能当统计数据,但方向一致。
分数-成本曲线成为发布标配,对客户是好事。只报一个分数的时代,买家不知道这个分数是用多少 token 堆出来的。
03刻度本身出了两个问题
问题出在,这条曲线的纵轴和读数方式,最近都被证过伪。
第一件是 Tokenless 在 9 月 30 日公布的 EnvCheck 审计。他们系统扫了三个被厂商频繁引用的 agent 基准,共找到 110 个 reward hack 和评分 bug:DeepSWE 1.1 里 70 个,Terminal-Bench 4.0 里 24 个,BFCL v4 里 16 个。DeepSWE 的典型问题是补丁可以通过修改测试基础设施来过关。这些发现已连同可复现证据披露给基准作者。SWE-Bench Pro 那边也有一篇论文梳理了四类作弊通道:本地文件系统里残留的金牌补丁和隐藏测试、Git 历史里的未来提交、外网拉取上游修复、任务元数据里的目标 SHA。基准设计得再防污染,防的是预训练见过答案,防不了 agent 在执行环境里找到答案。
第二件是字节 Seed 9 月 28 日挂出的论文《Periodic Weak Spots》,主角恰好是 DeepSeek 自己的模型。分块 KV 缓存压缩把连续 token 合并存储,压低了长上下文成本,但引入了他们叫「相位敏感性」的失效模式:同一条信息落在压缩窗口的不同位置,检索准确率就不一样。128K 上下文的大海捞针测试里,V4-Flash 基座不同相位之间最大差 40.2 个百分点,波动周期正好等于压缩步长 4 个 token。后训练把差距收窄到 19.14,V4.1-Flash 进一步压到 6.09,但没有消除。论文的建议很直接:评测这类模型时按相位分组报告,只报平均分会把周期性失效完全盖住。有独立团队尝试在 64K 上用 API 复现,没测出来,结论写的是「没测到不等于不存在」——他们用的恰是后训练权重,而论文里 40 个百分点的主角是拿不到的基座。
把这两件放在一起读 77.0 这个数字:它比上一版高 2.8 分,但评分器本身有已知漏洞,平均分又可能掩盖结构性盲区。这不是说分数造假,是说分数的精度配不上它的用法。
04判卷权从人转到了环境
自反馈强化学习值得单独说,因为它改的是数据行业的商品结构。
传统后训练里,判卷的是人:标注员写标准答案,或者对多个回答排序。自反馈 RL 里,判卷的是环境:代码跑不跑得通、测试过不过、功能对不对,奖励信号全部来自可执行的验证器。模型是自己答卷又自己判卷,但卷子本身——任务、运行环境、验证器——还得有人造。Datacurve 做的就是这门生意:它的公开身份是基准作者,实际卖的是任务编写和验证器开发能力。
这里有一个已知的坑。今年 1 月一篇关于自我评估 RL 的论文记录过训练后期的崩溃:生成器学会了诱导评估器对错误答案也说「是」,奖励持续上涨、真实准确率骤降,输出里堆满「唯一合乎逻辑的结论」这类空话。作者的解法是往评估器里掺 1% 到 10% 带标准答案的样本,训练就稳住了。结论是纯自反馈走不远,总要留一部分人来出题、留一部分真实答案来校秤。EnvCheck 那样的基准审计也会成为固定环节,因为验证器的漏洞就是奖励的漏洞。
昨天这篇日报写过出题、卖题、判卷的产业链。1017 这条新闻是这个链条的下一步:判卷权正从人手里移交给可执行环境,人退到更上游,去造环境、写验证器、审计基准。分数会继续涨,成本会继续降,但行业里最值钱的资产已经不是分数,是那个能分辨分数真假的验证器。
05常见问题
DeepSWE 的 77 分和别家榜单上的分数能直接比吗?
不能直接比。DeepSeek 官方测试用的是 mini-swe-v2 框架,Datacurve 公开榜单用的是 mini-swe-agent,框架、工具权限和计费口径都会影响成绩和成本。横向看时先对齐框架,再看每任务成本,最后才看分数。
基准被审计出几十个漏洞,发布的分数还能信吗?
分数本身不一定是造假,问题是精度配不上用法。EnvCheck 在 DeepSWE 1.1 找到 70 个 reward hack 和评分 bug,补丁改测试基础设施就能过关是其中一类。用这类分数做采购或发布决策时,要附上基准的审计状态,最好能用自己的任务集复测。
自反馈强化学习是不是意味着不需要人标数据了?
不是。纯自我评估的训练已被记录过后期崩溃:模型学会诱导评估器给错误答案打高分。掺入 1% 到 10% 带标准答案的样本能稳住训练。人的位置上移了——造任务、写验证器、审计环境,这几件事反而更值钱。