百度悄然在 Hugging Face 上放出了稀疏混合专家（MoE）基座模型 baidu/ERNIE-5.5-Flash-Base。该模型从零预训练了 33.5T tokens，总参数量 280B，每 token 仅激活 14B 参数，预训练上下文为 128K，微调和推理最高支持 1M-token 上下文。与主流厂商直接发对话模型的惯例不同，百度这次交出的是未经中期训练或后训练的纯净预训练检查点（Base checkpoint）。横向对比当前主流开放权重 MoE 模型，百度把单 token 激活参数压到了同级最低，但高度异构的底层架构与配套工具链的缺位，也给社区接盘设下了不低的工程门槛。

这场发布在信息渠道上透着几分反常。模型技术报告标注的发布时间为 2026 年 11 月 5 日，详尽拆解了 43 层 Transformer 的每一处改动；但在百度官方主博客上，公开列出的版本仍停留在 2.4T 参数的多模态模型 ERNIE 5.0 以及 ERNIE 5.1。更关键的是，官方技术页面虽有评测章节，外网却无法提取出可独立核实的跑分表。在 Kimi K2 Instruct 已经在 LiveCodeBench v6 拿到 53.7 分（对比 DeepSeek-V3-0324 的 46.9 分与 Qwen3-235B-A22B 的 37.0 分）、在 SWE-bench Verified 拿到 65.8 分的当下，百度选择用一份没有横向跑分对标的纯净 Base 权重切入牌局，目标直指底层算法研究者与垂直领域微调团队。

模型名称总参数量每 token 激活参数激活比例上下文窗口
ERNIE-5.5-Flash-Base280B14B5.0%128K 训练 / 1M 推理
Qwen3-235B-A22B235B22B9.4%256K（可扩展至 1M）
Kimi K21T32B3.2%128K
DeepSeek-V3.2671B37B5.5%128K

14B 激活与 128 倍缓存压缩：算力抠到极致的架构激进主义

大模型竞争的主战场，已经从单纯堆叠总参数转向后训练效率与长文本 Agent 推理成本。强化学习（RL）需要成千上万次反复采样，代码仓库级 Agent 则动辄塞入几十万 token 的历史记录，这两件事都会把算力与 KV Cache（键值缓存）显存吃干抹净。ERNIE-5.5-Flash-Base 把激活参数压到 14B（仅占 280B 总参数的 5%），比体量更小的 Qwen3-235B-A22B（激活 22B）还要少算三分之一，核心逻辑就是给后续的强化学习采样和长文本多轮调用省算力。

为了撑起 1M 的推理上下文而不被显存拖垮，百度在 43 层网络里塞入了一套非对称的混合稀疏注意力机制（MLA + HCA）。大多数模型每一层都在老老实实看全量历史，而百度认为绝大多数层只需要对远期历史保留粗略印象。因此，模型每 7 层里只有 1 层使用保留逐 token 完整访问的 MLA（多头潜在注意力），其余 6 层全部换成了重度压缩注意力（HCA）——直接把每 128 个 token 压缩成 1 个缓存条目，只对最近的一小段窗口保留未压缩状态。

43 层 Transformer 的非对称注意力与 KV Cache 分配 HCA 重度压缩层（占 6/7 层） 128 × 历史序列压缩比 • 每 128 个 token 压为 1 个缓存条目 • 算力开销极低，配 512 维宽注意力头 • 负责以极小内存代价维持全局粗粒度视野 MLA 全上下文层（每 7 层仅 1 层） Top-k DSA 稀疏注意力筛选 • 集中消耗剩余 KV Cache 预算保留逐 token • 计算昂贵，收缩为 256 维窄注意力头 • 预训练验证 HCA+MLA 优于 4 倍压缩 CSA

这种抠算力的思路贯穿了整个架构。因为 HCA 层把序列压短了 128 倍、计算便宜，百度就给它配了 512 维的宽注意力头；而每隔 6 层才出现一次的 MLA 层需要逐 token 计算、开销昂贵，注意力头就被缩窄到了 256 维，并引入动态稀疏注意力（DSA）只计算得分最高的 top-k 位置。百度在预训练对比中发现，在相近的 KV Cache 预算下，这种“多数层 128 倍死压 + 少数层全量保留”的 HCA+MLA 组合，表现优于把历史均匀压缩 4 倍的压缩稀疏注意力（CSA）。

除此之外，模型在各个角落都做了非标改造：

  • Multi-Router Latent MoE：包含 1 个共享专家和 512 个路由专家（每次激活 top-10）。为解决深层网络中单一路由器打分与专家实际作用脱节的问题，改用多个独立初始化的 sigmoid 路由器联合打分；同时先把特征从 4096 维投影到 2048 维潜在空间再跑专家网络，将通信量与专家计算量砍半。
  • ECHO 替代 MTP.抛弃传统多 token 预测（MTP）外挂独立模块的做法，直接复用主干网络最后一层预测未来 token，既迫使主干网络自己学会往前多看一步，又能在推理时直接充当投机解码的草稿模型。
  • 训练与词表细节.残差连接换成了 4 路并行的流形约束超连接（mHC）；输出头换成分段温度的 MultiMax；20 万词表的分词器对数字采用从右向左（R2L）每三位一组切分（如 1,234,567 切为 1、234、567），对齐数位以改善算术能力；底层训练则靠分布式 Muon 优化器与 FlashMask-4 内核跑通了千卡集群。

Flash 命名下的落地骨感：显存重负、工具链断层与协议限制

名字里带着 Flash，加上 14B 的超低激活参数，很容易让人产生“这是一台消费级工作站就能轻松跑起来的轻量模型”的错觉。但 MoE 架构的物理铁律是，推理时可以只激活 5% 的参数，把权重加载进硬件时却一分都不能少。

14B 激活省下的是单步算力，280B 总权重锁死的是入场门槛。

按照 Reddit 硬件社区的估算，即便把 ERNIE-5.5-Flash-Base 压到损失不小的 Q4 量化精度，要把它完整跑起来，依然需要大约 128 GB 内存加上 32 GB 显存。这直接把绝大多数个人开发者和中小团队挡在了本地部署门外。

算法团队接手 ERNIE-5.5-Flash-Base 的三道现实门槛 1. 硬件存储门槛 128G+32G Q4 量化预估内存与显存 280B 权重无法塞入单卡 2. 异构算子适配 官方库缺位 GitHub 仍停留在 ERNIE 4.5 HCA/mHC 等需重写内核 3. 开源合规边界 自定义 v1.0 非 MIT 或 Apache 2.0 商用与二次分发存顾虑

比硬件更棘手的是软件生态的断层。一个基座模型改动越激进，对外部推理和训练框架的兼容性考验就越严苛。ERNIE 5.5 Flash 从不同层不同维度的 HCA+MLA 注意力、虚拟头注意力（VHA）、多路由 Latent MoE 到 MultiMax 输出头，几乎把标准 Transformer 改了个遍。然而检索百度官方的 PaddlePaddle/ERNIE GitHub 仓库可以发现，目前代码库维护的重点仍是 ERNIE 4.5 系列及配套的 ERNIEKit，暂未看到针对 ERNIE 5.5 Flash Base 的专属官方推理代码库。

对真正有算力接盘的算法团队而言，这意味着如果 vLLM、SGLang 等主流开源推理引擎没有在第一时间跟进适配这套复杂的混合算子，研究员想要拿它跑通高效的强化学习采样，就得自己动手啃底层算子融合。此外，该模型并未采用 DeepSeek 或 Qwen 惯用的 MIT、Apache 2.0 等宽松开源协议，而是绑定了一份自定义许可证（ernie-5.5-flash-base-model-license-v1.0），这也让企业在评估是否基于该基座投入重金做垂直行业微调时，多了一层合规顾虑。

  • 提醒.业务导向的应用开发团队目前无需跟进该版本，它既无指令遵循能力也缺乏现成的高效推理底座；真正的观察窗口在于百度承诺后续放出的后训练（Post-trained）版本，以及主流开源推理框架对 HCA+MLA 架构的原生合入进度。