Anthropic今年公布的"Verbalizable Workspace"论文提出，Claude模型的中间层里藏着一簇可以被言语化、可以因果操控的表征子空间——论文管它叫"工作空间"，类比认知科学里那套"信息被保持、被广播给下游计算"的说法。这套结论只在Claude这一个闭源模型家族上验证过，天然留了一个问题：这是Claude独有的结构，还是所有Transformer共享的规律？
独立研究者Elie Bakouch用AI agent Fable 把整套测量方法搬到了Qwen、Llama、Gemma、OLMo、SmolLM3、Delphi等六个以上开源模型家族上，几乎自主地跑完了全部实验。结果没有验证论文的核心直觉，反而把它捅了个洞：真正把影响拖得最久的，不是论文强调的中间"工作空间"层，而是最靠近输入的浅层。
中间层记不住东西，浅层才是长尾
往某一层的残差流里扎一针，看这一针的效果能撑多少个token——这是整套测量的核心动作。判断标准是半衰期：效果衰减到初始一半所经过的距离。六个模型测下来结果一致：半衰期最长的位置出现在深度3%到17%之间的浅层，中间"工作空间"带的半衰期只有2到5个token，衰减速度反而是全模型里最快的一批。深度60%到70%处会出现一次急剧下降的"悬崖"，多数模型这个悬崖正好卡在几何分块（CKA）的边界上。
这个反转背后还有一层方法论警告。早期测量用128-token的短窗口，某个模型的中间层在窗口里看起来异常"平坦"——像是真的能长期保持信息。换成4096-token的长窗口重测后，这层的平坦度指标从0.562掉到0.264，悬崖本身还在（2到4095距离之间跌幅稳定在2.21到2.44倍），但"长期平坦"的假象消失了：效果其实一直在按幂律衰减，直到约1500个token都没出现平台。
- 结论.短窗口测量本身会制造"长程记忆"的假象，任何研究说某层能"长期保持信息"，都该先问一句测量窗口有多长。
结构定型的两条时间线
论文只对比了基座模型和后训练模型两个快照，本文在SmolLM3-3B（12个检查点）、OLMo-32B（11个检查点）、外加一组从随机初始化开始的OLMo-7B早期训练序列上，把测量做成了连续曲线。两种"结构"的形成速度完全不同步。
深度60%附近的时间悬崖，训练进行到不到1%时（SmolLM3第一个公开检查点）就已经出现在ρ≈0.629，此后基本焊死在这个位置。但用CKA画出的几何边界，起点在ρ≈0.457，要再花掉约6万亿token才慢慢挪过去，追上早就定型的悬崖。训练没有让中间带的影响传得更远，只是让带内部的分布更均匀。几何本身也终身都在漂移：OLMo-32B训练到最后，跟自己200B token之前的版本相比，CKA只有0.836。
另一个反直觉细节：判断模型的"几何年龄"，token数比训练算力更准。OLMo-7B在16.8B token时的内部几何，最接近OLMo-32B约42B token时的状态；OLMo-7B到67B token时，对应OLMo-32B约92B token——两个参数量差出好几倍的模型，几何成熟度按token数对齐，而不是按FLOPs对齐。
迁移能成，但语料一换结论全变
往好的方向看，这套内部几何在模型之间可以对齐。用几千个共同token训练一个纯旋转映射，Llama-3.1-8B和Qwen3-8B之间的概念检索准确率能到92.2%；因果注入实验里，Llama向量被Qwen模型采纳的成功率是94.0%，反过来是96.1%，随机对照组十万多个格子全部为0。但迁移不是免费的：借来的向量通常要用1到5.9倍于原生向量的强度才能生效。
- 风险.能跨模型迁移的转向向量，既可能变成通用的安全护栏探针，也可能是可复用的操纵手法，双向都成立，目前没看到专门的防御讨论。
更值得警惕的是另一组数字：模型的"有效维度"（参与比PR）严重依赖测量用的语料。同一个Qwen3-4B，中间带的PR在代码语料下是594，数学网页语料498，WikiText 329，换成PDF散文语料只剩202——这个跨度和整个跨越五个数量级训练算力的规模实验（PR从约208升到约444又回落到379）差不多大。跨模型相似度也一样：Qwen3-1.7B和Qwen3-4B在代码语料下CKA只有0.56，换成偏散文的语料能到0.67到0.70。
中间层没记住多少，浅层反而更念旧。
把这些数字和Anthropic在Claude上量到的对照一下：两跳推理实验里，替换中间概念让Haiku 4.5的答案跟着变的成功率是54%，Sonnet 4.5和Opus 4.5都是70%；J-space分量的因果贡献明显更大——替换它能改变61%的答案，替换体量大得多的非J-space分量只有28%。这些数字没被推翻，被推翻的是"工作空间"这个比喻暗示的时间维度：Anthropic量的是哪部分权重更重要，本文量的是信息在这部分权重里能存多久，两者不是一回事。
这篇文章怎么写出来的也是一个不小的注脚：作者不是可解释性领域的专家，实验设计、跑实验、写初稿基本都交给了AI agent，人工只做"去水分"式的把关。作者自己承认，这套实验设计放在真正的领域专家眼里可能"不完全说得通"。数字和图表可以复核，实验设计有没有系统性偏差，目前只能靠更多独立复现来回答。