2026年8月13日,成立仅两年的AI基准评测初创公司Vals宣布完成4000万美元A轮融资,由Andreessen Horowitz(a16z)领投,8VC、Pear VC、Bloomberg Beta跟投,HRT与NextLadder参投。这笔交易直接将这家旧金山团队推上了4亿美元的投后估值,其历史累计融资额也达到了约4500万美元。
资本重注一家模型打分机构的逻辑并不复杂:过去两年里,学术界通用的公开基准正全面失灵。当大模型厂商普遍摸清了公开题库的命题偏好,公关跑分与落地实效便出现了严重断层。Vals的商业野心,正是在大模型密集走向商业落地与资本市场的关口,建立一套不可反向刷题的工业级度量衡,做AI时代的数字标普。
告别刷榜水分与买方准入证
学术基准的破产是全行业的共识。像早期的MMLU、GSM8K乃至一度被视为工程金标准的SWE-bench,其测试集早已被爬虫抓取并渗透进预训练语料库中。模型只要稍作针对性微调,就能在公开榜单上拿到高分,但放进实际业务系统里依然频繁出错。
Vals创始人Rayan Krishnan曾先后在微软、Palantir以及斯坦福AI实验室任职。在他看来,传统测试只关注模型能否通过类似司法考试的抽象问答,根本无法测出其处理真实业务链条的能力。为此,Vals搭建了一套三层测试集架构:最外层是公开验证集,仅供展示样本;中间层是授权私有验证集,让模型厂商在本地调试对比;最核心的计分题库则是永久保密的私有测试集,外界完全无法抓取,以此从物理层面切断针对试题直接微调的可能。
这种机制迅速吸引了头部买家。目前OpenAI、Anthropic、Google、Meta以及xAI五大模型实验室,均已在各自的系统卡或模型卡中引用Vals的测评数据。Anthropic甚至在其官方System Card中正式引入了Vals Finance Agent评测作为能力注脚。
随之而来的是高速的业绩膨胀。Vals披露,其2026年截至8月的收入已达到2025年全年的8倍,客户基数翻倍,团队规模半年内从8人扩充至25人。第三方数据库测算其2025年收入约为130万美元,这意味着其2026年的年化收入正向千万人规模迈进。
厂商愿意掏钱应试,背后有更现实的商业算盘。随着Anthropic与OpenAI等企业推进公开上市进程,大模型正从科研竞赛转入财务审计阶段。无论是向公开市场的投资人解释资本开支的合理性,还是向联邦政府采购部门提交合规报告,模型厂商都需要一张第三方出具的防作弊体检单。
击穿白领替代神话的实测成绩单
与传统的学术多选题不同,Vals将评测重心押在专业垂类任务上。其最新推出的Vals Index 2.0体系直接按照美国GDP贡献占比设定任务权重,其中金融占据8.0权重,代码占据5.6,法律占据1.2,总权重达到14.8;与此同时,它果断退役了被认为已经刷榜饱和的SWE-bench Verified与CorpFin。
然而,撕开学术榜单的滤镜后,顶尖通用模型交出的工业成绩单并不光鲜。
在包含927道真实投行分析师级任务的Finance Agent v2评测中,行业顶尖模型交出的部分得分率为60.60%,而按生产环境严格要求的通过率仅有50.88%。如果将任务进一步收窄至核心财务三表建模与先例交易分析,模型的严格通过率甚至会骤降至约30%。
闭门黑盒评测最大的讽刺,在于它一出手就砸碎了自身所依附的模型神话。
这一落差说明,在长链条、容错率为零的高阶白领任务面前,基础模型远未达到能独立交付工作的水平。所谓全自动投行分析师的说法,眼下依然停留在宣传册里。
除金融场景外,Vals还在向高风险边界延伸。它与算力平台CoreWeave联合推出了递归自我改进指数(RSI Index),在ReverseEngBench网络安全测试中与哥伦比亚大学及加州大学伯克利分校展开合作,并上线了能通过GitHub代码库自动生成评测集的Vals Smith工具,赠送120点免费额度以争夺中小开发者。甚至在国际人道法层面,Vals也在尝试测量模型在武装冲突法中理解日内瓦公约的边界。
- 结论.大模型在受控测试与真实业务之间存在巨大断层,现阶段任何将生成式模型直接推向高敏感无监督工作流的方案,都将面临极高的合规与执行代价。
裁判员收费与黑盒制度的信任悖论
商业化步伐的加速,也将Vals推向了更复杂的利益风暴中心。
当前评测赛道中,数据标注平台Scale AI旗下的SEAL评测,因Meta持有其49%的股份而屡受中立性审视。Vals虽然没有科技大厂控股,但其商业模式却同样敏感:模型厂商不仅是受测的考生,更是掏出巨额测试费的付费金主。
伯克利法学院发布的一份研究报告直接指出,Vals在法律领域展开测评时,曾与部分被测企业存在客户商业往来。报告同时指出,其早期法律评测集样本代表性较为有限,不仅缺乏多轮复杂法理推演,甚至在试卷中出现了2道题的管辖权标签错误。
更深层的挑战来自学术界的哲学质疑。斯坦福大学HELM团队的研究人员指出,私有测试集在阻断作弊的同时,也彻底瓦解了科学共同体的同行评审机制。当外界无法审查试题的代表性、答案的准确性以及系统背后的提示词偏置时,整个评价体系就退化为信我即可的中心化权威。
不仅如此,部分前沿概念的包装也开始显露浮夸底色。所谓针对递归自我改进(RSI)的评测,其实验内核实质上只是在限定算力预算下运行自动化AI研发脚本,考察模型复现与拼装既有算法代码的表现,并未发生真正意义上的多代自我演化。
- 风险.当评测标准演变为准入许可,缺乏第三方独立信托审计的黑盒中介,极易在商业利益驱使下重蹈传统金融评级机构的覆辙。
大模型的淘汰赛正在从前沿研发转向资产负债表与招股书。如果这套以GDP加权的名义构建起来的黑盒测试集,不能向公众证明自身不受付费金主的意志左右,它所承载的黄金标准,最终也可能沦为另一场代价不菲的自娱自乐。
