在序列建模领域，Transformer 架构的地位近乎神圣，但这种统治力并非没有代价。近日，研究者 Chong Zhang 在预印本平台发表论文《Attention Is Not What You Need》(arXiv:2512.19428)，对这一主流范式发起了挑战。该研究指出，标准的多头注意力机制本质上是一种“张量提升”过程，虽然极具表达能力，却因缺乏数学上的不变量而显得逻辑隐晦。
作者提出了一种基于格拉斯曼流（Grassmann flows）和普吕克坐标的架构，试图将复杂的序列计算从非结构化的张量空间，转移到有限维的流形几何中。这不仅是一次模型结构的调整，更是试图对“注意力机制是否为序列建模的唯一最优解”进行一次硬碰硬的回答。
从张量提升到几何流形
当前的 Transformer 将词向量映射到高维空间进行两两交互，这种做法随着序列长度增加，计算代价呈二次方增长。相比之下，基于 Grassmann 流的设计逻辑迥异：
该方法通过局部窗口内的几何演变来传播信息，利用普吕克坐标将 token 对编码为流形上的子空间。这意味着，计算不再依赖于难以解释的巨大注意力权重矩阵，而是变成了某种受到梯度下降约束的“几何形变”。
性能与现实的鸿沟
论文展示了该架构在小规模任务上的潜力，但深入研究后，我们可以发现理想的数学叙事与残酷的实验数据之间存在显著的认知落差。
在 WikiText-2 数据集上，Grassmann 模型在 13M-18M 参数规模下的困惑度（Perplexity）比同等规模的 Transformer 高出约 10% 至 15%。然而，开源社区独立复现者 Elliot Arledge 的测试显示，这一性能差距实际上可能达到 22% 以上。此外，论文宣称的 O(L) 线性复杂度优势，目前仅停留在算法设计的层面。在现有的硬件实现中，该架构并未展现出优于 FlashAttention 或 Mamba 架构的吞吐量。
- 风险.SNLI 实验中 Grassmann 模型仅作为分类头，骨干网络仍依赖传统的自注意力机制，这使得所谓的“完全去注意力”架构在实验验证上存在逻辑瑕疵。
几何验证还是工业替代？
目前，Grassmann 流架构更像是一个引人入胜的概念验证，而非对 Transformer 的实质性替代。其数学上的可解释性固然优雅，但在大规模参数下的收敛性、纯几何架构下的推理能力（剥离预训练骨干后），以及在长上下文中的稳定性，仍是待解的难题。
对于架构工程师而言，该方法是否能通过算子优化缩短性能差距，以及它在长序列处理中能否建立真正的算力壁垒，是接下来观察的重点。在 Mamba 和 RWKV 等线性扩展方案已先行一步的背景下，Grassmann 几何架构需要证明的不仅是“逻辑美”，还有“工程算得快”。
- 提醒.目前的 Grassmann 实验缺乏多次重复种子的统计置信度，且存在因果推断上的逻辑隐患，在工业场景直接应用该方案目前风险极高。