Zyphra AI 拿出了名为 Zyphra Hierarchical Attention (ZHA) 的树状稀疏注意力机制，试图解决长文本推理中最顽固的复杂度死穴。在冻结 Qwen3.6-35B-A3B 基座参数的前提下，团队只加了 81,920 个可训练参数（约占总参数的 0.00024%），用 3.98B token 做蒸馏预热，就在 256K 上下文的 RULER-13 检索测试中拿到了 96.2% 的准确率，把耗费 40B token 训练的 MiniMax Sparse Attention (MSA) 甩在身后。这是一次漂亮的算法突袭，但距离生产环境接管长文本推理，中间还隔着一道没有 GPU 算子的工程鸿沟。
长文本战场的瓶颈早已从算力转向显存带宽与路由开销。以 DeepSeek Sparse Attention (DSA) 和 MiniMax 的 MSA 为代表的细粒度稀疏方案，虽然在主注意力计算时只挑出 2,048 个 token（或 16 个大小为 128 的块），但负责挑 token 的索引器依然要老老实实扫描全部历史上下文。单次查询索引成本是 Θ(N)，全序列依然逃不出二次方复杂度的手掌心；当上下文拉长到 1M token 附近，光是“找 token”的索引过程就会吞掉单层耗时的 60% 到 90%。
给 KV Cache 建一棵 B-Tree，在 256K 检索上打赢 MiniMax
ZHA 的破局思路很直接，既然数据库早就不用全表扫描，大模型寻址也不该用。它把连续的 Key 分块压缩成摘要节点，层层向上汇总成一棵多级搜索树，摘要由一组学习出来的参考查询（reference queries）通过切平面对数注意力质量估计生成。推理解码时，查询从树顶往下走，用自适应 top-p 路由只展开包含比例 p 注意力质量的分支，把搜索过程本身也变成了亚线性复杂度。
这套树状检索在长文本榜单上交出了极具说服力的成绩单。Zyphra 在 Qwen3.6-35B-A3B 上测试了深树（块大小 4、6 层）和宽树（块大小 256、1 层）两种结构，均配置 16 个参考查询和 p=0.95 的路由阈值，并与用 10 倍训练预算（40B token）训出来的 MSA 正面对比：
| 评测基准 (Qwen3.6-35B-A3B) | 稠密注意力 | ZHA 深树 | ZHA 宽树 | MiniMax MSA |
|---|---|---|---|---|
| SWE-bench Verified | 67.4 | 67.4 | 68.4 | 63.6 |
| RULER-13 (256K 检索) | 96.0 | 93.3 | 96.2 | 77.1 |
| LongBench v2 (Thinking) | 58.0 | 63.4 | 62.4 | 49.3 |
差距最悬殊的是大海捞针与长程推理。MSA 在 256K 的 RULER-13 上跌到了 77.1%，而 ZHA 的宽树不仅没掉点，还以 96.2% 微弱反超了稠密注意力；在 LongBench v2 中，ZHA 深树和 MSA 同样只读取约 1.1% 和 1% 的 Key，ZHA 却拿到了 63.4% 的高分，比稠密基座高出 5.4 个百分点，更是领先 MSA 整整 14.1 个百分点。
四百倍加速只是纸面推演，局部改装与位置编码暗藏边界
如果只看 Zyphra 博客里“10M 上下文比稠密快 35 倍、1B 上下文快 417 倍”的宣传，很容易以为长文本的终极银弹已经落地。但翻开于 2026 年 10 月 30 日提交的论文底稿，会发现三个决定工程生死的关键限制。
算法复杂度的降低，在 GPU 上从来不等于实际延迟的降低。
最核心的短板在于 Zyphra 没有发布任何优化算子。文中所有惊人的加速比，全部来自单层注意力子系统、Batch Size 为 1 的 H100 BF16 理论 Roofline 数学建模，连模型校准都只是在 576 个 FlashAttention 稠密注意力案例上完成的。反观被它拿来对比的 DeepSeek V3.2 (DSA) 和 MiniMax (MSA)，两者都给出了 H800 等真实 GPU 上的实测算子成绩；MSA 论文更是用实测血泪指出，非连续显存收集（gathering）、分支负载不均与不规则访存，会吞噬掉绝大部分理论 FLOPs 削减。ZHA 的多级树动态展开是典型的串行指针追逐操作，对讲究大规模规整并行的 GPU 架构极不友好。
更隐蔽的事实是，这次实验并不是“全模型稀疏化”。在 Qwen3.6-35B-A3B 的 40 个注意力层里，Zyphra 实际只转换了 10 层；在另一款测试模型 Nemotron-3.5-Lightning-30B-A3B 的 52 层里，更是只转换了 6 层。这意味着如果跑端到端推理，剩下四分之三以上的未改装层依然被传统机制拖累。况且论文明确标注 1M 到 1B 上下文下的模型质量“未经实验验证”，在唯一做过扎实质量验证的 256K 长度下，帕累托前沿配置的理论单层加速比其实只有 1.93 到 2.28 倍。
- 风险.ZHA 属于“省显存带宽但不省显存容量”的方案，它必须在叶子节点完整保留原始 KV Cache 并额外存一棵摘要树，无法帮推理集群省下哪怕一张卡的显存容量。
这套树状几何逼近还极其挑食。在采用无显式位置编码（NoPE）的 Nemotron-3.5-Lightning-30B-A3B 上，ZHA 深树在 RULER-13 测试中比稠密注意力暴跌 25.3 个百分点（宽树也跌了 10.2 个百分点），在参数量小于 1B 的小模型上同样转换艰难。对于维护 vLLM、SGLang 的推理引擎开发者和底层算子工程师来说，ZHA 指出了 DeepSeek 与 MiniMax 平坦索引路线在百万上下文之后的理论天花板；但在这个时间点，谁也无法拿一个没有 CUDA Kernel、只改了四分之一层、且挑剔位置编码的理论模型去替换线上服务。接下来唯一的胜负手，是 Zyphra 或开源社区能否写出真正跑赢 FlashAttention 的树状动态路由算子。