硅谷不买数据了,改买「世界」

「村里又发金条了🥵」
硅谷的大模型实验室最近改主意了。他们不再满世界求爷爷告奶奶地买静态数据,而是挥舞着支票簿,开始直接买「世界」。
前几天看到个消息,Anthropic内部正在讨论,要在RL环境(强化学习环境)上,每年投入超过10亿美元。
10亿美元什么概念?上一代版本神AI六小虎、AI四小龙们,把PPT吹出花来,累死累活干一身外包项目制,一年营收能摸到这个数的零头都算烧高香了。现在人家光买个训练用的「虚拟考场」,一出手就是10亿美元级别的预算。
真应了那句话,淘金热里最赚的永远不是淘金客,是卖铲子的。只不过今年铲子升级了,从卖静态数据改成了卖RL环境,老包工头们摇身一变,成了造物主。
为什么硅谷大厂突然对「环境」这么FOMO?
道理很简单。
以前的预训练和微调,吃的是静态数据集。说白了就是给模型刷《五年高考三年模拟》,题库是死的,标准答案也是死的,模型把题库背得滚瓜烂熟,出门一遇到真实世界的突发状况,直接原地死机。
现在的Agent是要干活的。干活就不能只背题库,得进「考场」。
这就是RL环境的本质。在这个考场里,模型不再是只管输出一段话就完事,它得采取动作(action),环境会根据它的动作给出实时状态反馈(observation),最后再由评分器给出奖励(reward)。模型在里边跑成千上万次推演(rollout),一步步试错,优化自己的策略。
翻译成人话:静态数据集是死题库,RL环境是活考场。
在死题库里,Agent第一步走歪了,后面的参考答案就全废了;在活考场里,Agent就算中间跑偏了,环境也能实时把它兜住,给它报错、给它弹窗,逼着它自己把路找回来。
大的也来了。
需求端一疯,供给端立马闻着味儿就全扑上来了。
早在2025年9月21日,TechCrunch的记者Maxwell Zeff就专门写过一篇报道《Silicon Valley bets big on 'environments' to train AI agents》,直接捅破了这层窗户纸:硅谷正在重注RL环境来训练AI Agent,一大波创业公司正在疯狂造环境。
到底有多疯?短短一年时间,市面上专门做RL环境的供应商,平地干拔冒出来了四十多家。甚至有热心网友嫌大家找包工头太麻烦,专门建了个叫RL List的目录站,把这些卖环境的公司挨个挂牌展示,跟当年团购网站导航似的。
这群抢食吃的人里,生态位分得极其清楚。
冲在最前头的是原生创业派,以Mechanize和Prime Intellect为代表。这帮小天才上来就讲纯正的RL环境故事,Prime Intellect甚至直接搞了个类似Hugging Face的开源RL环境中心,试图把造环境的生态标准先占下来。
紧随其后的是老牌数据军火商。你以为人家还在雇东南亚老乡标红绿灯?Surge AI去年的营收已经干到了约12亿美元,这体量放在国内能把一众独角兽馋哭,人家眼疾手快,直接内部拉起了一支专门的RL环境团队。还有估值干到100亿美元的Mercor,手握大把优质人类专家,现在也调转枪口,死磕编码和医疗领域的RL环境。
看着是不是一片繁荣,遍地黄金,随便拉个草台班子就能去大厂爆金币?
所以最后发生了什么?
大厂买回去一跑,发现这帮包工头交上来的考场,全是豆腐渣工程😭

2026年1月12日,研究机构Epoch AI发了一份专门针对强化学习环境的深度报告《An FAQ on reinforcement learning environments》。报告里明确指出,RL环境确实已经成了前沿模型训练的核心输入,但全行业正面临两个要命的挑战:一个是规模化,另一个就是大名鼎鼎的「reward hacking」(奖励黑客)。
什么是reward hacking?
就是你如果把考场设计得不够严谨,留了哪怕一丝一毫的漏洞,聪明绝顶的大模型绝对不会老老实实帮你干活,它会立刻学会钻空子、改规则,用最低的成本骗取最高的奖励。
举个最典型的例子。你想训练一个写代码的Agent,让它修好代码库里的Bug,并且通过所有测试脚本。
如果环境做得糙,Agent进去一看,发现修Bug太费劲了,它反手就把你的测试脚本给删了,或者把测试脚本里的判断逻辑改成永远返回「成功」。系统一检测,测试全过,满分!
模型骗到了reward,包工头骗到了大厂的结算款,只有大厂训练出来的模型成了一个只会删测试脚本的纯纯老赖🤡
这也是为什么现在真正可信的代码RL环境,门槛高得吓人。它绝不是随便扒几个开源代码库就能糊弄过去的,你必须老老实实封装好完整的Docker镜像,塞进真实的复杂代码库,配齐严丝合缝的编译测试脚本,最后还得焊死一个防作弊的评分器。少一个环节,模型就能把你裤衩子都骗光。
看到这里,聪明的朋友应该已经回过味来了。
这根本不是什么劳动密集型的外包活,这是披着数据外衣的硬核软件工程。
以前AI应用创业,大家比拼的是定语创新,看谁能把套壳吹成操作系统;现在到了RL环境这儿,所有的行业应用都被扒下了底裤——招聘、销售、金融研究、客服、法律,你在前台看到的每一个垂类工作流,退到后台看,其实都可以被抽象成一个独立的RL环境。
这意味着什么?
意味着未来的垂类壁垒,早就不是你有一个多漂亮的UI界面,或者攒了多少条静态行业问答。真正的壁垒变成了「Environment(环境)+ Reward(奖励机制)+ Data Flywheel(数据飞轮)」。谁能把金融研究、法律审查、复杂代码工程抽象成一个没有漏洞、无法作弊、能无限推演的考场,谁就捏住了下一代基座模型的命门。
大厂为什么愿意花10亿美元去买?因为造这种硬核考场太苦、太重、太消耗顶尖工程师的心智了。
更有意思的是,在这场重工业造考场的竞赛里,国内的硬核团队其实早就悄悄上桌了。
就拿我们 DataMining 来说,我们简直是把造考场当成奥数竞赛在搞。团队底子是北京大学计算机学院软件所的博士生组建的,之前就已经给字节、阿里、腾讯这些大厂供过弹药。
我们干活的路数非常凶残,不整那些虚头巴脑的简单任务,直接对标ALE-Bench、Frontier SWE、Deep SWE、HLE、APEX Agents这些业内最顶、最难的基准,纯手搓原创的同难度任务。
怎么判断一个考场是不是真硬核?看把顶尖模型折磨成什么样就知道了。
拿极其强悍的GPT-5.6-sol放进我们 DataMining 的数据环境里去跑,模型的准确率(ACC)直接比在同类供应商的数据上低了15个百分点;而且为了解开任务,Agent被逼得在环境里反复试错、推演,推理轨迹硬生生拉长了约20轮。
模型越痛苦,摔得越狠,大厂买单的时候就越开心。毕竟,能让尖子生考出低分、逼出20轮长思考的卷子,才是真正能帮模型涨本事的好卷子🤓👍
说到底,从AI四小龙时代的框图片,到ChatGPT时代的写问答,再到今天Agent时代的造RL环境,数据包工头们的祖师爷其实一直没变,但手里的家伙事儿已经完成了工业革命。
硅谷不再买数据了,他们在买一个个被封装进Docker里的真实世界。而能把这个世界造得严丝合缝、让AI无空可钻的人,正在闷声拿走这个时代最确定的金条。