斯坦福大学研究员 Owen Queen 和 James Zou 在 2026 年 11 月 2 日发布了一份名为《The shelf life of LLM findings》的报告，把过去几年学术界津津乐道的 50 项大模型高引研究结论，拉到 8 家开发商在 2024 年 7 月至 2026 年 9 月间发布的 20 个模型上重测了一遍。结果直接戳破了大量 AI 论文的保质期泡沫：44% 的结论已经过期，另有 34% 显著减弱，仅剩 16% 依然成立，6% 反而增强。这意味着用一年前的学术综述去指导今天的 AI 工程选型，大概率是在给不存在的病吃药。
那 22 项被判定过期的结论，平均寿命只有 15.7 个月（中位数 14.7 个月）。按时间线推算，一项实证结论发表 1 年后有 16% 的概率失效，满 2 年则飙升至 39%。
但这组数据最容易制造的错觉，是让人以为大模型仅靠一年半的底层进化就攻克了近半数顽疾。扒开原论文的方法论就会发现，15.7 个月只是那 22 项已死结论的平均寿命，并非所有 AI 论文的预期寿命；更关键的是，哪些缺陷死得快、哪些缺陷死性不改，直接暴露了今天大模型公司的训练底牌。
错题本效应与大模型的软肋分化
把这 50 项结论拆开看，过期速度和问题类型呈现出极其鲜明的剪刀差。
凡是指出模型不能做什么的结论，死得最快。研究中包含 9 项推理与能力缺陷（比如数不清 strawberry 里有几个 r、陌生进制算术出错、长上下文中间信息迷失、反转诅咒等），其中 5 项彻底过期，剩余 4 项也全部减弱，无一保持原样。
相反，凡是指出模型倾向于怎么做的结论，生命力都极其顽强。在依然成立或反而增强的 11 项结论中，有 3 项涉及大模型当裁判（LLM-as-a-Judge）时的系统性偏心：模型依然偏爱自己生成的回答、对录用与拒稿论文打分拉不开差距、容易被医学摘要里的修辞话术忽悠；另有 3 项涉及对用户的阿谀奉承（sycophancy），此外还有左倾政治偏见、开放问题回答高度同质化以及生成随机数分布不均。
为什么能力缺陷一修就好，而偏好毛病死性不改？因为学术界高引论文曝光的典型失败案例，客观上成了各大模型厂商的免费错题本。
数清字母、长文本大海捞针、甚至拒绝顺从用户的错误质疑，这些任务都有明确的对错标准。只要标准清晰，工程师就能通过清洗预训练数据、注入合成数据或强化学习把它们变成训练目标。论文越出名，死得就越快。
有趣的是，连阿谀奉承这个看似铁板一块的毛病，在后训练的作用下也发生了内部劈叉：当用户质疑模型的正确答案时，模型妥协改口的比例明显下降（因为答案有对错，好训练）；但顺着用户个人偏好去夸奖、迎合的倾向反而强化了——因为人类反馈强化学习（RLHF）的底层激励本来就是讨好打分者。治得了答错题的嘴，治不了想讨好的心。
2026 同代模型的断层与统计障眼法
即便是那些被宣布已死的能力缺陷，放在不同模型和真实工程场景里，也远没有到开香槟的时候。
最扎眼的是同代模型之间的巨大鸿沟。在 2026 年 7 月至 9 月密集发布的最新一代模型里，跨越历史缺陷的数量天差地别：OpenAI 发布的 GPT-6.1 Sol 让 30 项历史缺陷过期，而同期发布的 DeepSeek V4 Pro 仅过期了 11 项。
再看科研人员最关心的虚构科学引文测试。2023 年 Walters 和 Wilder 的原始研究检验了 636 条引文，当时 GPT-3.5 的文献造假率高达 55%（斯坦福团队复现的 GPT-3.5 Turbo 为 58.6%）。到了 2026 年的新模型上，几家主流产品的表现直接拉出了近 70 个百分点的断层：
| 测试模型（发布时间） | 虚构科学引文率 | 跨越历史缺陷总数（共 50 项） |
|---|---|---|
| GPT-6.1 Sol（2026.09） | 0% | 30 项 |
| Claude Sonnet 5.5（2026.09） | 1.37% | 未单列峰值 |
| Qwen3.7-Flash（2026.07） | 约 69% | 未单列峰值 |
| DeepSeek V4 Pro（2026.08） | 未单列 | 11 项 |
| GPT-3.5 Turbo（历史基准复现） | 58.6% | 基准对照 |
为什么同样是 2026 年下半年的新模型，Qwen3.7-Flash 的假文献率反而比三年前的 GPT-3.5 还要高？斯坦福团队给出的结论很残酷：今天模型的发布日期、所属厂商乃至参数尺寸，都已经无法可靠预测它在具体缺陷上的表现。轻量级 Flash 模型在压缩成本时，知识检索的忠实度往往最先被牺牲。
哪怕只看表现最好的头部模型，我也不太买账的是把结论过期等同于问题解决的乐观叙事。这里面藏着三个方法论盲区：
高引论文成了大厂的免费错题本，但押中真题不等于学会了微积分。
- 相对指标的工程陷阱斯坦福研究定义了一个标准化效应值 $e$，只要新模型上的错误效应降到原论文的 20% 以下（$e \le 0.2$），就算结论过期。但在两跳推理（需要组合两个已知事实回答问题）测试中，原论文里 ChatGPT 的失败率是 43%，如今 Claude Sonnet 5.5 在已经掌握单个事实的前提下，组合推理的失败率依然有 10% 左右。在写代码、医疗或法律审查里，10% 的扑空率足够让系统崩溃。更何况，引文测试只统计了完全不存在的假文献，把真实文献的年份、作者张冠李戴并不算在内，0% 虚构率绝不等于 100% 引用准确。
- 题库污染无法证伪重测完全沿用了原论文的提示词和实验设置。那些知名缺陷消失，究竟是模型长出了泛化推理能力，还是厂商把高引论文的测试集塞进了后训练数据做定向打补丁（patched），这套实验根本无法区分。
- 推理预算没有对齐测试直接使用各家 API 的默认配置，没有控制统一的推理计算预算（inference budgets）。默认开启深度思考链的模型与直出答案的轻量模型同台竞技，算出来的能力进化本身就带着水分；更别提在 48 项数值复现中，因为老模型退役，只有 25 项用上了完全匹配的原始模型。
- 风险.企业开发者如果直接拿大模型当自动化评测裁判（LLM-as-a-Judge），或者听信某项缺陷已过期的宣传就撤掉检索验证护栏，会在长尾错误和隐蔽偏见上付出真金白银的代价。
刻舟求剑的 AI 论文时代该翻篇了
《吕氏春秋》里讲刻舟求剑，笑话的是舟已行矣而剑不行。过去三年，整个 AI 学术界其实都在干同一件事：把某个特定商业公司、在某个特定星期发布的黑盒软件快照，当成物理学里的电子或生物学里的果蝇，花半年时间写出一篇论文，宣称发现了大语言模型的普遍规律；等论文熬过同行评审发表出来，船早就开出十万八千里了。
更拧巴的是，研究对象的演化还和观察者强耦合——学者刚在船舷上刻下记号说这里有漏洞，船夫连夜就把那块木板换了，顺手还把非裔美国人英语（African American English）的隐式偏见从负向直接修矫枉过正到了正向。
刚从 OpenAI 转投 Anthropic 的 Andrej Karpathy 最近在社交平台上感叹，公众对大模型实际行为的认知滞后，正在直接影响人们对 AI 的信任和使用频率。他觉得外界现在看到的模型还只是未来能力的预览版。
但认知滞后不能全怪公众一朝被蛇咬。当同代模型在同一个文献测试上能跑出 0% 和 69% 的荒诞温差时，用户唯一理性的防御就是默认它还会犯错。
对于 AI 学术界来说，拿着静态快照充当普遍科学真理的好日子彻底到头了。如果未来的实证论文不能像斯坦福团队呼吁的那样，强制锁死精确模型版本、测试日期，并公开全套提示词与评测代码做成动态更新的活体基准（Living Benchmarks），那绝大多数耗费算力写出来的分析，不过是在给大厂打白工编纂一份保质期只有 15 个月的补丁说明书。