在 72 道知识更新题上,按需检索比把历史记录全交给模型更准,也更省。换成时间推理、跨会话和拒答题合并统计,全量上下文又领先。做企业知识库和长会话助手,光看窗口大小,连该选哪种方案都定不了。
The Decoder 报道称,英伟达研究团队认为超大窗口在不少任务上既浪费又贵,定期摘要和按需检索常能做到差不多。但报道可见部分没给论文、测试设置或结果表。标题里的死路,比能核对的证据走得更远。
英伟达测到的是检索与长窗口互补
最接近报道主题的英伟达论文《Retrieval Meets Long Context Large Language Models》,给 Llama 2 70B-32K 加上检索后,七项任务平均分从 40.9 升到 43.6,NarrativeQA 的生成速度达到对照的 4 倍。论文把摘要当作任务来测,没拿滚动摘要压缩历史做对照。

百万窗口也并非一路涨上来的。OpenAI 在 2025 年 4 月推出的 GPT-4.1 已支持 1,047,576 token,后来的 GPT-5 API 反而是 400,000。GPT-5.6 Sol 标称 1,050,000,输出上限 128,000,但输入占去 100 万后,生成预算只剩约 5 万,还得算上推理 token。装得下多少,和装进去以后还能用好多少,是两回事。
换一组题,名次就变了
开头那组 LongMemEval 测试里,全量、滚动摘要和 BM25 检索的判定正确率分别是 69.4%、47.2% 和 73.6%。以全量成本为基准,后两者花了 73.6% 和 88.2%。摘要最省,丢分也最多。换到时间推理、跨会话和拒答题合并统计,全量反超检索。
Mem0 的 LoCoMo 实验是另一笔账。全量用约 26,000 个上下文 token,正确率 72.9%,端到端 p95 为 17.12 秒。Mem0 检索用约 1,760 个记忆 token,正确率降到 66.9%,p95 缩到 1.44 秒。客服助手可以衡量这笔取舍,但记忆构建是另测的,不能把查询提速算成全生命周期省钱。
找到一句话,离串起证据还很远
滚动摘要在提问前决定删什么,检索在提问后决定找什么。像图书馆索引,知道书名时很好用;要对照几本没点名的书,查一次就走,很容易漏线索。全量输入保住了原文,模型照样可能没用上。

一项中文古籍预印本里,百万档的 Gemini 3.1 Pro、Claude Opus 4.7 和 GPT-5.5 找单条线索都是 18/18,到了三跳题却分别是 5/5、3/5 和 2/5。题目只有五条证据链,输入构造也不同,不能拿来排名,但足以说明找得到和串得起来要分开测。
检索也不必然让摘要变好。SummHay 加入重排检索后,GPT-4o 的覆盖与引用联合分从 11.4 升到 33.8,Claude 3 Opus 从 18.3 升到 31.9,Gemini 1.5 Pro 却从 37.8 降到 34.7。这里测的是按问题写摘要,不能拿来判断整批材料该怎么总结。
先拿错题验收,再算窗口的账
我更在意知识库答错时,团队能不能定位那道错题。固定模型、题集和生成预算,跑全量、滚动摘要、一次检索和迭代检索。先查检索结果有没有集齐必需证据,再把人工标注的支持段落直接交给同一模型。证据齐了还答错,就不能只怪检索。

成本也得分开报。记忆构建和更新要花钱,多轮检索会拉长等待;常规 Transformer 保留的 token 越多,服务端 KV 缓存就线性增长,API 的缓存输入折扣是另一笔账。按题型对照证据召回、正确率和尾延迟,才知道开头那场名次反转会不会发生在自己的产品里。百万窗口可以买,前提是那些多送进去的原文,真能救回答错的题。
