大模型跑分里的百分数往往有欺骗性。智谱 AI 近日发布的法律大模型 GLM-Legal,在业界公认严苛的 Harvey LAB 评测中拿下了 19.2% 的全通过率。外行人看这个数字第一反应是过低,但翻开第三方机构 Vals AI 的榜单就会发现,这个不到两成的成绩直接位列全球第二,仅次于 Muse Spark 1.2 的 25.42%,把同台受测的 Claude Fable 5(11.25%)、Claude Opus 4.8(9.58%)以及 GPT-6 Astra(5.42%)甩在身后。

这场跑分最有意思的地方在于参数不对称。GLM-Legal 并非堆叠数万亿全量参数的庞然大物,其底座是智谱于 2026 年 8 月 26 日发布的开源架构 GLM-5.3-Flash。该底座虽然拥有 3200 亿总参数,但在运行阶段的激活参数仅 180 亿。它依靠 30 万亿 token 多模态语料预训练、混合稀疏与线性注意力以及 mHC 架构打底,再通过垂直领域中训与智能体环境协同后训,硬生生在专业法律场景里把通用闭源旗舰给压制了。

Harvey LAB 基准全通过率(All-Pass)横向对比 Muse Spark 1.2 25.42% GLM-Legal (18B 激活) 19.17% Claude Fable 5 11.25% Claude Opus 4.8 9.58% GPT-6 Astra 5.42%

法律基准里的零容忍真相

要读懂这次突破,必须先拆解 Harvey LAB 的打分逻辑。法律服务与日常闲聊不同,差之毫厘往往失之千里。Harvey LAB 设立了跨越 24 个法律领域的 1250 个专业任务,内置超过 7.5 万个专家规则,其评估机制被称为全通过(All-Pass)。

57项规则只要漏掉一项,整个法律交付任务就会全盘归零(示意图)
57项规则只要漏掉一项,整个法律交付任务就会全盘归零(示意图)

所谓全通过,本质上是木桶理论的工程投射。例如一项关于企业控制权变更的分析任务可能包含 57 项细分标准,模型必须同时答对这 57 项细则才算拿下一分;只要漏掉一个关键事实或写错一条管辖约定,整项任务直接归零。在单项规则视角下,GLM-Legal 的命中率其实高达 92.5%,但一旦收束到全流程闭环交付,整体得分立刻跌至 19.2%。这也直观体现了基础模型到专业交付之间的断层:底座基础分再高,只要端到端出现单点崩溃,客户就无法免返工使用。

但在多任务测试中,该模型表现出了均衡的稳定性。Vals AI 数据显示,GLM-Legal 在 LegalBench 上取得 86.23% 的成绩,位列前十四名;在 Legal Research Bench 得分为 41.83%。而在中文场景下,涵盖 850 道题目的 PLawBench 此前官方仅收录了得分 60.49 的 GLM-4.6,这次 GLM-Legal 宣称在中文咨询、案情分析和起草上对齐闭源顶尖水平,正是为了解决以往模型在本地法条与实务文书中分析流于表面的顽疾。

算力之外的骨架协同

一个激活参数仅 18B 的模型能够对抗闭源巨头,关键在于训练路径的取舍。团队没有在通用大语料里盲目空转,而是分两步将模型塞进法律作业环境。

智能体运行沙盒通过刚性规则框架对模型输出进行硬约束
智能体运行沙盒通过刚性规则框架对模型输出进行硬约束

第一阶段是领域中训(Mid-training),注入高密度法律语料,让模型吃透概念、法定规则与解释框架的推演脉络。第二阶段则是智能体运行环境(Agent Harness)与模型的双向协同迭代。智谱将模型放入数万个真实法律任务沙盒里跑强化学习。Harness 负责上下文管理、工具调度与错误回传;模型在执行合规排查或起草时踩到的边界问题,会反向倒逼 Harness 修正逻辑。这种协同演进,把法律实务中对交付物的硬约束,直接转译成了工程优化的损失函数。

垂直智能体双向演进架构(Harness Co-evolution) 模型核心 (GLM-Legal) GLM-5.3-Flash 底座 (18B 激活) 领域中训夯实法理推演脉络 事实归纳与特定条款定稿 运行骨架 (Agent Harness) 上下文分块与长文档管理 外部办公与检索工具链路由 沙盒执行错误即时信号回传 输出执行指令 反馈环境阻断

从官方释出的实操切片能看清这种配合带来的交付差异。在审查一份退出机制合规合同时,通用底座 GLM-5.3-Flash 只能泛泛提示建议缩短通知期;而 GLM-Legal 能直接下刀,将通知期精准压至 30 天,删除知识产权违约补救期以支持即时解约,并强制写入长达 90 天的过渡协助期。官方计划未来将该能力装入桌面智能体 AutoClaw,使其在本地直接生成带有修订痕迹的合同文档。


狂欢背后的约束与警惕

行业里总习惯为四两拨千斤的故事鼓掌,但清醒审视当下的数据和落地条件,GLM-Legal 面前仍有几道绕不开的坎。

真实法务中超八成疑难复杂任务仍需要资深律师末端人工复核
真实法务中超八成疑难复杂任务仍需要资深律师末端人工复核

首先是开源与评测的透明度问题。Vals AI 目前的榜单条目直接将 GLM-Legal 关联回了 GLM-5.3-Flash 的文档,官方尚未提供独立的开源权重、确切的商用 API 端点,也未公开完整的测试集去污染(Decontamination)报告。垂直领域大模型在既定基准上跑出高分,往往很难彻底摆脱测试集泄露的猜疑,这需要后续更完备的第三方复现来打消顾虑。

其次是行业评测标准本身的分裂。Harvey LAB 固然严格,但并非终局裁判。例如 Artificial Analysis 维护的 LAB-AA 评测已在近期引入了更严苛的实质性幻觉门槛(Material-Hallucination Gate),实行一票否决制。在商业诉讼与跨国兼并案中,一次自作聪明的条款捏造足以击溃整个案卷。目前市场上尚未见到一线资深执业律师对 GLM-Legal 产出的复杂交付物进行无盲测审计,19.2% 的任务达成率也从反面挑明了现实:真实世界里超过八成的疑难杂症,模型依然无法独立办结。

  • 结论.用小参数激活配合智能体 Harness 磨炼垂直场景,在推理成本和高压任务执行力上证明了可行性,彻底打破了必须依赖昂贵通用闭源大模型的迷信。
  • 风险.全任务通过率尚未突破两成,且防幻觉门槛仍待独立复现,企业法务与律所在将其用于生产环境前,绝不可取消人工末端复核。
繁复精微的法理世界,从来不会被轻巧的通用神话一招攻破。

从商业博弈来看,智谱以轻量 MoE 底座在专业场景里展现的爆发力,给整个 AI 产业提了个醒。当通用超级大模型还在比拼万亿参数的算力底池时,垂直场景的竞争维度已经变成了工程 Harness、专业数据浓度与性价比。智谱用 GLM-Legal 踏出了扎实的一步,但在那剩下的 80.8% 未通过任务被彻底攻克前,法律智能体距离让律师甩手交付,显然还有很长的路要走。