【标题】从 Context Engineering 看 AI 现状:为什么模型窗口越来越大,应用反而越来越难做

【摘要】AI 上下文窗口已突破 10M token,但盲目堆砌信息引发了模型分心与混乱。我们需要从提示词工程转向上下文运维,通过隔离与剪枝等手段管理模型的确定性边界。

【正文】

在 2024 年底,AI 圈曾弥漫着一种 RAG 已死的乐观狂热。既然模型上下文窗口能从 128K 迅速膨胀至 1M 甚至 10M,那还有什么必要辛苦构建检索系统(RAG)。直接把整部互联网塞进模型,让它全知全能即可。

然而,时间来到 2026 年,Drew Breunig 在 AGNTCon 上的分享泼了一盆冷水:模型不仅没变聪明,反而变得更容易分心和中毒。当我们将海量信息一股脑填入窗口时,模型并未获得更强的决策力,反而陷入了独特的上下文惯性。


上下文失效的四大模式 上下文中毒 模型被错误或虚假 信息困住,反复引用 上下文分心 长文本干扰基准能力, 模型丢失关键逻辑 上下文混乱 无关数据诱导, 模型假定错误身份 上下文冲突 工具指令与上下文 严重互斥,导致瘫痪

从装得下到记不住

回顾 2024 年,Gemini 1.5 Pro 发布时惊艳全场,1M 的窗口意味着 AI 能阅读海量代码库或数小时视频。Llama 4 Scout 甚至尝试冲击 10M 的极限。然而,行业很快发现了一个残酷现实:窗口大小与可用信息量并不成正比。

海量输入如沙漏堆积,模型记忆却在中间段落出现断层(示意图)
海量输入如沙漏堆积,模型记忆却在中间段落出现断层(示意图)

学术界的中间丢失效应在长上下文中变本加厉。研究表明,模型存在极强的注意力位置偏好,往往只能记住首尾的信息,中间的海量内容如同数字垃圾。更糟糕的是,当上下文中充斥着矛盾的示例,模型会因为模仿能力过强,反而背弃系统预设的逻辑。

这种上下文惯性是 Agent 构建中的致命伤。比如一个在 1M 窗口下运行的 Agent,一旦任务序列拉长,它倾向于重复之前的动作,而非针对新情境进行逻辑合成。这意味着,模型拥有的 token 越多,人类纠错的负担就越重。

上下文工程的六大实战范式

正如 Drew Breunig 所言,上下文管理不是简单的扩容,而是一门精细的运维艺术。目前的工程实践已经收敛到六种修复策略,这标志着 AI 应用开发从提示词工程转向了上下文运维(Context Ops):

将不同任务物理隔离,防止上下文惯性导致的逻辑污染
将不同任务物理隔离,防止上下文惯性导致的逻辑污染
  • 上下文增强.利用 RAG 机制,在模型推理前注入精准的事实切片,而非全量堆砌。
  • 工具负载.通过 Loadout 策略,根据任务动态筛选激活工具,避免一次性加载 600 个技能导致模型性能崩盘。
  • 上下文隔离.像容器化技术一样,将不同任务(如工作对话与个人项目)强制物理隔离,防止记忆穿透带来的混乱。
  • 上下文剪枝、摘要与卸载.这三种策略的核心目标一致,即保持上下文的极简与高效,去除冗余事实,甚至在长链路任务中动态卸载旧状态。
工程派的认知进阶:Context Ops 核心逻辑: 从一股脑塞进上下文 转为确定性的信息审计 不再追求更大窗口,而是追求更高质量的决策切片。

如何在确定性与概率性之间抉择

对于企业架构师而言,当下的核心难题是量化任务,而不是选哪个模型窗口更大。

用确定性的工程规则,为概率性模型的输出修筑边界(示意图)
用确定性的工程规则,为概率性模型的输出修筑边界(示意图)

并不是所有问题都适合长上下文。如果任务需要高度的指令一致性,且场景单一,确定性的业务逻辑(Code / Rule)应该被固化在系统调用中,而不是丢进上下文让模型去推导。而当任务具有开放性、多变性时,长上下文配合精确的检索与剪枝,才是最优解。

Anthropic 的研究证实,结合上下文嵌入与 BM25 检索,能将检索失败率减半。这提醒我们,模型厂商在比拼 Token 数的表象之下,真正的技术分水岭在于如何提升模型对非核心信息的免疫力。

所谓上下文工程,本质上是人类为概率性模型修建的围栏,用确定性的规则约束其输出的熵增。

未来 AI 系统的鲁棒性,将不取决于模型参数的量级,而取决于我们如何通过工程手段,在庞大的上下文噪声中,始终确保模型对那几个关键事实保持绝对清醒。这不仅是开发者的修行,也是所有 AI 落地项目无法绕过的入场券。

【锐评】模型可以海纳百川,但只有当人类学会界定确定性与概率性的边界,AI 才能真正从会聊天进化为会做事。