把混合专家模型（MoE）的路由器当成一道单纯的数学打分题，是看懂 2026 年大模型架构演进最大的障碍。从早期的 Mixtral 8x7B（总参数 47B、激活 13B，每 Token 8 选 2），到如今 DeepSeek-V4-Pro 与 Kimi K2 双双推到 384 个路由专家外加 1 个常驻共享专家，前沿开源模型的稀疏化规模翻了 48 倍。MarkTechPost 近期梳理了生产环境的 7 种主流路由机制，断言 Sigmoid 打分配合无辅助损失偏置（Aux-Loss-Free Bias）已成 2026 年的统治级配方。但翻开各家在 Hugging Face 上的底层配置文件就会发现，所谓的统治级标准答案已经松动：在跨节点多卡并行的通信墙面前，各家旗舰正在路由拓扑上分道扬镳。
先把 2026 年主流开源 MoE 模型的真实配置底牌摆在桌面上：
| 模型名称 | 路由专家数 | 每 Token 激活 | 核心路由与特殊机制 |
|---|---|---|---|
| DeepSeek-V4-Pro | 384 (+1 共享) | Top-6 | 弃用 Sigmoid 改用 sqrt-softplus，前 3 层用哈希路由 |
| Kimi K2 | 384 (+1 共享) | Top-8 | Sigmoid 打分 + 无损偏置，n_group=1 取消节点分组限制 |
| Qwen3.6-35B-A3B | 256 (+1 共享) | Top-8 | 重新加回在 Qwen3 (128 选 8) 中曾砍掉的共享专家 |
| GLM-4.5 | 160 (+1 共享) | Top-8 | 无损偏置路由配 Sigmoid 门控 |
| GPT-OSS-120B | 128 | Top-4 | 传统 Softmax Top-K + 辅助损失均衡 |
| Llama 4 Maverick | 路由 + 1 共享 | Top-1 | Switch 容量因子制限，溢出 Token 直接经残差跳过 |
零辅助损失的文字游戏与 384 专家路线分歧
早期 MoE 普遍患有一种结构性内耗：为了防止所有 Token 一窝蜂挤向少数几个专家导致算力闲置，模型必须在主语言建模损失之外强加一个辅助损失（Auxiliary Loss），或者像 Switch Transformer 和 Llama 4 Maverick 那样设置硬性容量上限，满了就直接把溢出 Token 扔进残差连接跳过当前层。强加辅助损失等于让模型在“把话说准”和“把活分匀”两个冲突的梯度方向上左右互搏；直接丢弃 Token 则会伤及精度。
无辅助损失偏置策略在 1B 规模的基准测试中，曾将最大负载违背度（MaxVio）从 0.72 压到 0.04，同时降低了验证困惑度。它的核心巧思在于选人与算权重解耦：路由器在挑 Top-K 专家时，给原始亲和度分数加上一个可动态调节的专家偏置项（热门专家降分、冷门专家加分）；但一旦选定专家、计算最终输出加权时，却只用不带偏置的原始分数做归一化。这样既用偏置完成了全局统计意义上的负载均衡，又不会把平衡负载的伪梯度混进主干网络。
但行业叙事往往喜欢把技术改良包装成彻底的银弹。这套机制并没有真正做到绝对的零辅助损失——动态偏置只能靠每步训练后的固定步长增减来管住跨 Batch 的全局平均负载，如果遇到单条长序列内部出现极端同质化的 Token 扎堆，全局偏置根本反应不过来。因此，即便在标榜无辅助损失的 DeepSeek-V3 中，依然暗中保留了一个极微弱的序列级（sequence-wise）辅助损失来兜底单序列倾斜。
路由器的本质早已不是神经网络门控，而是跨节点通信调度器。
当专家数量膨胀到 384 个，多机多卡专家并行（Expert Parallelism）会把每一次 Token 选专家的动作，直接变成跨 GPU 甚至跨服务器节点的 All-to-All 网络通信风暴。面对这堵墙，各大厂在 2026 年给出了完全不同的工程妥协：
- DeepSeek-V4-Pro 选择做减法与异构化。它不仅把激活数从 V3 的 Top-8 收紧到 Top-6，放弃 Sigmoid 改用
sqrt-softplus计算亲和度，更激进的是在前 3 个 MoE 层直接塞入哈希路由（Hash Routing）——根本不训练路由器，直接按 Token ID 硬性哈希分配专家。因为浅层网络处理的只是词法和局部表征，花算力去学动态路由纯属浪费，不如直接用零成本的静态哈希把负载绝对平摊。 - Kimi K2 与 DeepSeek 在通信拓扑上走了相反的路。DeepSeek-V2 与 V3 为了让计算与跨节点通信完全重叠，强行把专家分成 8 组、限制每个 Token 最多只能发往 4 个节点；而同样是 384 专家的 Kimi K2 却直接把分组参数
n_group设为 1，取消了节点分组限制，同时维持 Top-8 激活。 - 阿里 Qwen 团队则在共享专家上经历了一次推倒重来。Qwen3-235B-A22B 曾专门发论文移除了常驻共享专家，试图让所有路由专家平权竞争；到了最新的 Qwen3.6-35B-A3B，却又把共享专家重新加了回来。
古人讲，形格势禁，则智者不能用其谋。模型架构师在图纸上画出的路由公式再优雅，一旦落到自家的机房交换机拓扑和显存带宽约束里，都得向物理定律低头。Kimi 敢取消节点分组，背后依赖的是底层集群网络带宽的冗余或通信算子的重写；DeepSeek 在浅层直接砍掉学习路由改用哈希，则是把每一分钱的通信与显存预算都抠到了深层语义上。
被集体拉黑的加速神器与填不平的线上尾延迟
在所有路由方案里，反差最大的是 Google 提出的 Expert-Choice（专家选择）路由。它把“Token 挑专家”倒过来变成“专家挑 Token”，每个专家按固定容量桶大小直接挑分最高的 k 个 Token。由于每个专家的负载在数学构造上就绝对均等，完全不需要任何平衡损失，Google 原论文曾报告了超过 2 倍的训练收敛加速。
然而在 2026 年主流的 10 个前沿因果大模型里，采用这套方案的数量是零。
它死在因果律的侧信道泄露上。自回归生成模型铁律是当前 Token 绝不能偷看未来的 Token，通常这靠注意力机制里的因果掩码（Causal Mask）就能锁死。但在 Expert-Choice 模式下，一个专家到底挑不挑第 5 个 Token，取决于整段序列里后面第 100 个 Token 的分数是不是比它更高。
研究人员在 2B 参数、100B 训练 Token 的条件下做过一组对照实验：当使用 512-token 分块做 Expert-Choice 时，训练 Loss 出现了约 10% 的异常骤降；一旦跨分块随机打乱 Token 顺序斩断上下文关联，这 10% 的红利瞬间消失。在 16 专家选 2、共 9 层 MoE 的配置下，单靠“我被哪个专家选中了”这一分配组合，理论上就能给每个 Token 传递超过 50 bits 的侧信道未来信息。哪怕注意力层蒙住了眼睛，路由器依然在帮模型作弊偷看答案。
更致命的麻烦在推理阶段。自回归逐字生成时根本没有未来 Token 可供比大小；如果退而求其次，在线上推理时把不同用户发来的请求拼成一个 Batch 让专家挑，那么用户 A 生成出什么词，就会被同一批次里用户 B 的提示词内容悄悄改变。这种训练与推理的边界失配，直接宣判了它在自回归主干模型上的死刑。
- 提醒.企业与基础设施团队在选型开源 MoE 模型时，绝不能只看总参数和激活参数（比如看中 A22B 或 A3B 的低算力账面数字）。训练期再完美的无损偏置均衡，到了线上遇到真实用户高度偏科的流量（例如全天满负荷跑代码生成），特定专家依然会被瞬间打爆。
没有任何一个训练期路由器能替线上推理擦干净负载均衡的屁股。一旦某张卡上的热门专家过载，整个多卡集群就得在 All-to-All 同步屏障前干等最慢的那张卡。目前真正能救命的动作正在向推理引擎下沉：例如集成进 SGLang 的 SMIDT 方案，在推理期直接打破训练时固定的 k 值，根据实时负载与 Token 难度执行动态 Top-K 调度，硬生生把 P99 首字延迟（TTFT）拉升了 1.21 至 1.26 倍。同时，训练期直接改掉 config.json 里的 top-k 数值无异于篡改模型权重，这迫使基础设施团队必须自己接管副本冗余与动态截断。
MoE 路由演进的下半场已经看得很清楚。单纯在门控激活函数上做文章的边际收益正在耗尽，接下来决定大模型推理成本分水岭的变量只有两个：第一，DeepSeek-V4-Pro 这种“浅层零算力哈希 + 深层精细路由”的层间异构设计，会不会成为下一代超大规模 MoE 的统一模板；第二，训练框架能不能在预训练阶段就原生纳入动态 Top-K，把现在压在 SGLang 和 vLLM 等推理引擎肩上的尾延迟补丁，直接消化在模型出厂之前。