知名AI学者Sebastian Raschka在标注为2026年11月15日发布的架构长文中，把大语言模型处理语序的底层机制拆了个底朝天。对比早年GPT-2与最新开源权重模型架构图集可以发现，统治开源界多年的旋转位置编码（RoPE）正在经历一场做减法的手术。以MiniMax-M3和SmolLM3为代表的新一代模型，不再每一层、每一个向量维度都绑死标准RoPE，而是砍掉一半旋转维度，或者每隔几层干脆抽掉位置编码。
这场架构微调直接戳破了工业界对RoPE的迷信。早期GPT-2采用可学习的绝对位置编码，把1,024个固定位置向量直接加在输入词嵌入上；一旦要把上下文窗口扩充到如今常见的100K级别，光位置编码层就会吞掉GPT-2 Medium超过22%的模型权重，在工程上极不划算。RoPE通过在注意力层内部旋转Query和Key向量的坐标对，用相对距离取代绝对坐标，成了当代大模型的标配。但当长上下文军备竞赛冲向128K乃至百万Token时，全量RoPE在长度外推与特征损耗上的死穴暴露无遗。
为什么MiniMax-M3只转一半维度，SmolLM3每四层抽掉一层RoPE
过去两年，开源社区默认把RoPE当成每一层、每一维度的出厂设置，但Raschka盘点的2026年架构图谱打破了这个惯例。拥有60个前馈层（前3层为稠密层而非MoE）的MiniMax-M3采用了Partial RoPE策略，在每个128维的注意力头中，只对其中的64个维度施加旋转，剩下64个维度保持原样。
另一款模型SmolLM3则走上了层间混合路线。它在每连续3个Transformer块中正常应用RoPE，到了第4个块就直接跳过显式位置编码，改用NoPE（无位置编码）；而Inkling模型则干脆回到Softmax之前，向注意力分数添加可学习的相对位置偏置。
架构师们集体给RoPE做减法，是因为因果注意力掩码（Causal Mask）本身就暗含了语序信息。即使完全不加显式位置编码，排在后面的词也只能看到前面的词，这种单向遮挡天然打破了序列的对称性。在NeurIPS 2023一项横跨10项类推理任务的长度泛化研究中，无位置编码（NoPE）的平均倒数排名高达0.69，力压T5相对位置编码（0.55）和ALiBi（0.50），而备受欢迎的RoPE仅拿到0.33，排在倒数第二。
如果把所有维度和所有层都捆死在RoPE上，模型会被迫在每一个特征通道里都掺入距离衰减信号，反而在需要跨远距离提取纯语义或执行算法规则时束手束脚。MiniMax-M3留出一半维度不旋转，既减少了三角函数矩阵乘法的计算开销，又给纯语义特征留出了不受距离干扰的专用通道；SmolLM3每隔三层抽掉一次RoPE，则是用局部层的精确相对位置，去配合NoPE层的全局规则泛化。
原生外推崩盘与128K水分：频率缩放手术的代价
既然RoPE在算法泛化上表现平庸，直接全盘换成NoPE或ALiBi行不行？答案是同样走不通。
在不修改模型直接拉长测试文本的原生外推（Train Short, Test Long）实验里，各路方案都有致命短板。在WikiText-103基准上，把训练长度512的模型直接拉到4,512 tokens做评估，ALiBi凭借对远距离词的固定线性惩罚，把验证集困惑度（Perplexity，越低越好）从19.73稳在18.41；而原生RoPE从20.07恶化到39.15，正弦位置编码更是飙升到209.37。到了ACL 2024针对1.1B参数模型在PG19数据集上的长文本对比中，从2K训练长度外推到4K、8K和16K时，TinyLlama的RoPE基线滑动窗口困惑度从14.5崩到491.4乃至599.5；NoPE虽然在4K时勉强撑在326.9，但到了8K和16K，因为缺乏显式位置锚点导致注意力过度发散，困惑度彻底崩盘至1,000以上。
原生RoPE外推会失真，纯NoPE长文会发散，补丁成了唯一出路。
正因为纯NoPE撑不住万字长文，而ALiBi的刚性线性衰减又容易变成只看重近期词的近视眼，工业界最终还是选择留在RoPE船上，靠微调阶段的频率缩放补丁来强行扩窗。早期的位置插值（PI）用最多1,000步微调把窗口撑到32,768 tokens，随后的YaRN扩到了128K，LongRoPE更是结合二次插值报告了2,048K的窗口。
但这套打补丁的逻辑暗藏物理代价。RoPE内部包含从快到慢的多组旋转频率，高频分量像游标卡尺的密刻度，负责分辨相邻词的局部语序；低频分量像卷尺，负责丈量几万字之外的宏观距离。如果像早期插值法那样把所有频率一刀切地均匀压缩，密刻度就会被挤在一起，导致模型连相邻几个词的先后顺序都分不清。
2025年发布的LongRoPE2论文用一组受控测试揭开了盲目扩窗的残酷现实。在LLaMA3-8B模型上，当上下文从8K扩展到128K时，拿包含多跳追踪与信息聚合的13项RULER任务去测，工业界广泛采用的YaRN平均分直接从87.87暴跌至49.39，几乎丧失了一半的可用精度；第一代LongRoPE也从92.70跌到73.40；只有通过大海捞针任务驱动搜索、对不同频率做精细非均匀缩放的LongRoPE2，才把分数从93.68维持在82.03。
这场发生在向量旋转角度里的博弈，正在改变大模型团队与企业买家的选型账本：
| 编码方案 | 核心机制 | 关键跑分表现 | 工程适用边界 |
|---|---|---|---|
| 原生 RoPE | 全层全维度坐标对旋转 | 4.5K外推困惑度恶化至39.15 | 训练长度内稳定，超长必加缩放补丁 |
| ALiBi | 注意力分数叠加线性距离惩罚 | 4.5K外推困惑度稳在18.41 | 困惑度好看，但偏向近期词难做远距推理 |
| 纯 NoPE | 靠因果掩码隐式感知语序 | 推理泛化MRR达0.69，8K困惑度>1000 | 适合短序列规则推理，长文档直接崩盘 |
| Partial / 混合 RoPE | 仅转半数维度或隔层抽掉RoPE | 兼顾局部定位与无位置纯语义通道 | 2026开源新宠，降低算力并缓解长文退化 |
- 提醒.企业技术负责人在采购或微调号称支持128K乃至百万窗口的模型时，不要再看厂商给出的低困惑度曲线或单点大海捞针（NIAH）满分截图。一个靠粗暴插值撑大窗口的模型，在字面检索上或许能拿满分，一旦放到真实业务的多文档汇总与长链条逻辑推理中，有效上下文往往不到标称值的三分之一。
对于正在训练下一代基座的架构师而言，把RoPE从全盘绑定改为半旋转或隔层混搭，本质上是用架构上的留白去对冲频率插值的损耗。接下来半年最值得盯紧的变量，是MiniMax-M3的半维度旋转与SmolLM3的抽层NoPE如果叠加LongRoPE2式的非均匀频率搜索，能否在不牺牲短文本精度的前提下，把128K以上的RULER真实得分推过90分大关。