为了应对频发的安全事件与迫在眉睫的强监管风暴，Anthropic 与 OpenAI 等模型实验室近期开始推行一种新方案：把所谓独立的第三方机构直接派驻到内部，充当“驻场评测员”。然而在 TechCrunch Disrupt 大会上，Hugging Face 政策主管 Irene Solaiman 明确指出，这种机制绝非易事。她认为当前的基准测试本身就面临严重的可复现性危机，评测体系从单体模型转向全系统代理后更显昂贵与混乱，若无标准化资格规范，驻场机制很难真正建立信任。
这件事之所以关键，在于它暴露了整个大模型行业在治理逻辑上的裂痕。大厂试图用商业化的自律防线来抵御外部硬性监管，但被寄予厚望的跑分与安全测试，技术根基正在动摇，制度设计更充满了显而易见的利益冲突。
跑分不可信：被外挂框架绑架的技术真相
很多企业采购大模型时仍紧盯着基准跑分榜单，但这套评测科学的基础正在松动。由 Stella Biderman 等学者撰写的论文《Lessons from the Trenches on Reproducible Evaluation of Language Models》直接点破了现实：哪怕拿到模型访问权限，极微小的提示词格式调整、代码变动或底层参数微调，都会导致评分剧烈漂移。可复现性与测试本身的有效性，根本就是两个维度的难题。
更根本的技术变局在于，行业评测重心正从静态模型转向动态系统。正如 Solaiman 所强调，现在的评测对象早已不仅是模型自身，而是包括执行框架 Harness 与外部调用工具在内的完整 Agent 智能体。一个经过精心调优、配备强力 Harness 的二线模型，在实际基准测试中完全可以跑赢裸奔的前沿大模型。
评测不再是测智商，而是测工具箱；弱模型配上强外挂，跑分就能击穿天花板。
这种复杂性直接推高了验证门槛。当前如英国国家 AI 安全研究所开源了包含 200 余项测试的通用框架 Inspect，非营利机构 METR 的自主任务评测平台 Hawk 也是依托 Inspect 搭建。但全套 Agent 评测极为昂贵，缺乏统一规范。没有开源权重与彻底公开的测试代码，外界看到的数字不过是在特定密室沙盒里跑出来的孤立产物。
- 风险.如果企业仍依赖公开基准分做采购选型，很可能只是在为供应商的外挂编排技巧买单，而非模型本身的真实泛化能力。
埃森哲入场：既做合规裁判又当销售伙伴
技术上的不确定性，叠加治理机制上的利益纠葛，让驻场评测变得更加扑朔迷离。2026 年 9 月 18 日，Anthropic 宣布选定埃森哲旗下 AI 业务 Faculty 担任其首个驻场评测机构。双方计划在未来 5 年内各自投入至少 10 亿美元建设相关能力。埃森哲的评测人员将获得等同于内部员工级别的高权限，而其服务报酬则由 Anthropic 直接结算。
这桩合作迅速引来各方质疑。正如 NPR 披露的细节，埃森哲在产业中的核心角色，恰恰是协助企业采购和落地集成 Anthropic 的 AI 工具。一手协助商业化推广、收取技术厂商的真金白银，另一手又要充当客观公正的安全合规审计官，双重身份构成了教科书式的商业利益冲突。
针对这种乱象，AI Evaluator Forum 在同一天发布公开信，明确提出了独立评测的底线条件：驻场机构不得与被测公司有重大商业往来、严禁设立对赌性薪酬，且必须享有向董事会直接通报的权力与免遭报复的公开出版自由。然而，目前埃森哲与 Anthropic 的绑定方式，显然与这些独立性倡议相去甚远。
非营利机构进驻，也绕不开大厂的脱敏红线
商业咨询机构不够纯粹，非营利性科研机构进驻是否就能药到病除？现实同样充满妥协。
2026 年 10 月 15 日，Anthropic 公布了另一项进展：非营利机构 METR 的 6 名员工已获得类似员工的内部访问权限进场测试。根据约定，Anthropic 无权直接否决 METR 的评测报告发布，但留下了一个关键限制：Anthropic 拥有对预定义分类信息的最终脱敏裁决权。
这意味着即使审计员发现了重大安全隐患，在成果公之于众之前，厂商依然可以通过信息分类的闸门对关键细节进行屏蔽。非营利机构在资源上高度依赖大厂早期模型的访问权和计算资源，再加上顶尖对齐安全圈子狭窄、人员多有交集，这种结构性的依存关系，注定让完全独立的外部监督变得极其脆弱。
- 结论.大模型评测正从技术探讨演变成一场抵御政府硬监管的公关防御战；在缺乏外部准入法则的背景下，驻场评测目前给出的信任背书依然立论不足。