为了让大模型在银行合规机房和工业隔离网里运行,安全厂商开始在混合专家架构上动手术。Aikido Security 在 Hugging Face 与技术博客公开其首个开源权重安全模型 Altar-1,记录发布时间为 2026 年 9 月 21 日,科技媒体随后于 9 月 25 日跟进报道。该模型基于 Z.AI 的 753B 参数基础模型 GLM-5.3,通过专家剪枝与量化压缩,将存储占用由原始 BF16 格式的 1,506.7 GB 缩减 78.2% 至 328.0 GB,宣称可在单台 4x NVIDIA H200 节点上支撑离线自主渗透测试。

这绝非传统意义上的安全大模型算法突破,而是一场精密计算显存边界的工程卡位。它证明了超大参数 MoE 模型可以通过剪枝避开重训成本,但在单 token 计算量毫发未损、跑分完全隐去精确率的前提下,将其直接视为红蓝对抗的实战基座仍为时尚早。

从 1.5TB 压到 328GB:一场针对 4x H200 的显存卡位战

金融与工业控制等高合规领域长期面临一道死锁:企业源代码、拓扑架构与未修复漏洞严禁离开内网,依赖公有云接口的闭源前沿模型直接被合规制度排除;但若转向开源 MoE 模型,即便只调用极少数专家,系统仍必须将全部专家权重常驻于显存之中。自主渗透测试涉及代码审计、多轮路径探测与长程交互,上下文缓存(KV Cache)会随着侦察深入急剧膨胀,与庞大的静态权重争抢寸土寸金的显存。

328GB 权重卡死旧款托盘,升级硬件方能预留推理缓存
328GB 权重卡死旧款托盘,升级硬件方能预留推理缓存
模型体积与硬件显存分界线 (GB) GLM-5.3 (BF16 原版) 1,506.7 GB GLM-5.3 (AWQ INT4) 488.2 GB 4x H100 显存物理上限 320.0 GB (装不下) Altar-1 (REAP 剪枝版) 328.0 GB (适配 4x H200 + 128k 上下文)

为了解开这个死结,Aikido 采取了两步无须重训的压缩管线:

  • 第一步是低比特量化.基于 cyankiwi 社区的 INT4 检查点,对路由专家权重执行 AWQ 量化(W4A16),注意力机制、共享专家和前馈密集层仍保留为 BF16,将体积初筛至 488.2 GB。
  • 第二步是引入 Cerebras 的 REAP(路由权重激活剪枝)算法。该算法结合路由倾向与输出激活幅值对专家打分,不仅统计调用频率,更依据单领域最大权重保全冷门专家的专业能力。Altar-1 在每层 256 个专家中直接剔除 88 个,保留 168 个,剪枝率达 34.4%。

在 25 个密封测试集与 154,880 全词表评估中,Altar-1 对比原版 BF16 的 KL 散度为 0.506 nats,与采用 EXL3 构建的 0.511 nats 相当。测试数据同样表明,若裁剪至 192 个专家,领域感知排序的散度为 0.361,大幅优于纯频次排序的 0.635 与随机修剪的 0.685。

328GB 不是一个性能最优点,而是恰好把存量 H100 挡在门外的物理分水岭。

这个数字精准卡住了硬件代际。4 台配备 80GB 显存的 NVIDIA H100 服务器总显存为 320 GB,根本无法容纳 328 GB 的静态权重。Aikido 将最低运行门槛锚定在配备 141GB 显存的 4x H200 节点,借此为生产环境下的 128k 上下文 KV Cache 留出足够显存水位。

显存瘦身不等于计算加速:40B 激活参数背后的算力现实

不少行业关注者容易产生认知误区,误将模型体积的缩减等同于推理速度的飞跃。事实上,Altar-1 降低的只是静态显存占用水位,其动态前向推理的计算开销基本未变。

剪枝后仍需激活八个专家通路,单次计算量未获实质缩减
剪枝后仍需激活八个专家通路,单次计算量未获实质缩减
Altar-1 的专家剪枝与计算特征拆解 每层专家总量 168 / 256 剔除 88 个 (剪除率 34.4%) 单 Token 激活专家 8 个 路由机制未改,依然常态激活 单 Token 激活参数量 ~40B 计算量未变,无直接推理提速

虽然每层常驻专家从 256 个裁减为 168 个,但 Altar-1 在生成每一个 token 时,路由网络依然需要从中选出 8 个专家参与计算,激活参数总量依然维持在约 40B。这意味着在相同的硬件架构下,剪枝并没有实质降低单 token 的 FLOPs 运算量,也无法直接换来首字延迟(TTFT)的阶跃式缩减。

此外,社区分析师 Satyajit Ghana 对 Aikido 披露的热图矩阵展开独立审计后指出,在 32 个漏洞用例对照中,Altar-1 相比其 AWQ 格式的父模型呈现 31 次持平、1 次落后。模型未发生严重的系统性崩塌,但技术剪裁同样没有带来任何安全能力上的增量增益。

商业层面上,Altar-1 继承了 GLM-5.3 的许可协议。该协议虽允许商用与二次修改,但明文限制年营收超过 100 亿美元的“模型即服务”(MaaS)运营商必须先通过 Z.AI 的安全审查。这使得公有云巨头无法随意将其包装为免责服务直接售卖,其真正锚定的受众依然是手握本地高端硬件的企业私有化交付场景。

  • 风险.若已有采购主要集中在 4x H100 规格,328GB 的模型体积将直接导致部署失败;在更轻量级的 EXL3 等格式完善前,强行推进需要审慎评估算力升级预算。

跑分迷雾与架构选型:企业安全真的需要 500B 巨兽吗?

为了佐证工程价值,Aikido 将 Altar-1 接入了旗下的 Aikido Machine 自主渗透测试机,并作为后台引擎服务于 Aikido Attack、AI 代码审计及 Deep Review 等功能。在官方公布的内部基准中,Altar-1 取得了看似优异的成绩:

边缘网关负责快速初筛,重型模型仅在物理沙箱内定点验证
边缘网关负责快速初筛,重型模型仅在物理沙箱内定点验证
模型版本权重格式平均召回率至少命中一次相对漏洞覆盖率
GLM-5.3 (原版)BF16 (1,506.7 GB)65.6%25 / 32100%
GLM-5.3 (AWQ)INT4 (488.2 GB)61.5%23 / 3292.0%
Altar-1 (REAP 剪枝)W4A16 (328.0 GB)60.4%23 / 3292.0%

对比原版,Altar-1 仅损失 5.2 个百分点的平均召回率,保持了 92% 的漏洞覆盖表现;比剪枝前的 AWQ 版本也仅低 1.1 个百分点。Aikido 还补充披露该模型在某客户的实战渗透中捕获了一处有效的高危漏洞。

但这套基准评测存在显著的专业局限。评测集仅涵盖 30 个代码仓库中的 32 个已知 CVE,更致命的是,测试属于定向复现——模型是在流水线框架协助下针对特定目标展开复核,既未开放 Prompt 与运行追踪供第三方复现,也完全没有测试修复后代码的负样本表现。

安全运营人员深知,缺乏精确率(Precision)控制的漏洞扫描是灾难性的。在不计告警预算、只看单向召回率的基准下,模型哪怕靠泛化猜想引发大量误报,也能刷高检出数字。一旦盲目推入生产网络,失控的误报警报将迅速淹没一线安全分析团队。

这引发了防御架构设计上的根本分歧:追求主权安全的企业,究竟该耗费巨资采购 4x H200 节点在内网硬扛庞大且迟缓的裁剪 MoE,还是转向更轻巧务实的工程组合?

  • 建议.相比将所有长上下文侦察与推理任务押注于单一重型模型,更合理的策略是构建分层防线——采用高确定性的传统轻量扫描器与小模型在边缘完成快速初筛,仅在关键路径的代码逻辑与漏洞利用验证阶段,调用离线大模型在沙箱内定点复核。