把同一份行为指南，原封不动灌给八个不同的模型，结果不是齐头并进。有的模型吃下去涨了将近十个百分点，有的模型怎么喂都纹丝不动，还有的模型全量灌反而比不喂更差——直到换成一份精简版才翻身。IBM Research这轮针对agent记忆机制ALTK-Evolve的八模型评测，给"记忆越多，agent越聪明"这个行业里心照不宣的假设，先打了一个问号。
同一份记忆，三种命运
ALTK-Evolve的做法不复杂：让agent先跑一批任务，从它自己的成功和失败轨迹里提炼出一套"guideline"——什么策略有效、哪些坑要避开、哪些边缘情况需要特殊处理，再把这套guideline在推理时喂回给同一个模型，不动一个权重参数。
问题是喂多少、怎么喂。IBM在AppWorld基准上（585个多步任务，覆盖日历、消息、支付等9类模拟应用，用TGC任务完成率和更严的SGC场景完成率两套指标打分）对八个模型跑了完整测试，五个代表性结果排出来是这样：
| 模型 | 策略 | TGC提升 | SGC提升 |
|---|---|---|---|
| gpt-oss-120b（117B） | 精选检索 | +16.1pp | +16.1pp |
| DeepSeek-V3.2（671B） | 全量guideline | +9.5pp | +16.1pp |
| Claude Opus 4.6 | 全量guideline | +4.1pp | +7.1pp |
| GPT-5.5 | 全量guideline | +2.9pp | +7.2pp |
| GLM-5（745B） | 全量guideline 也无效 | 0.0pp | 0.0pp |
能力越强的模型，越吃得下全量记忆——DeepSeek-V3.2把所有guideline都塞进去反而涨得最猛，SGC提升到+16.1pp，说明它不只是把平均分做上去了，是把原本会在某个变体上翻车的场景也补上了。GPT-5.5和Claude Opus本来TGC已经逼近九成，看似没什么提升空间，全量注入依然能在SGC上挤出七个百分点——只要模型还有没堵上的失败模式，记忆就还能起作用。
而gpt-oss-120b这种体量中等的模型，全量灌反而被"淹"了。IBM把guideline拆成一个高置信度核心集，加上每个任务按需检索的少量条目，这套精选检索策略比全量注入涨分更多、成本更低。GLM-5则完全不吃这一套——博客里管这叫"饱和模式"，但作者自己也承认，这只是描述性标签：可能是它在这批任务上已经逼近天花板，也可能guideline没打中它真正的弱点，也可能它压根没把guideline用起来，三种解释目前分不清。
- 结论.记忆的最优剂量跟模型能力档次挂钩，不是一套配方打天下。
学习发生在模型外面
这套机制最关键的一点是：不训练、不改权重。学习循环发生在模型外部——agent跑任务产生轨迹，ALTK-Evolve从成功和失败里提炼guideline，整理成一套可复用的集合，下一次推理时按策略注入。guideline只从AppWorld的训练集蒸馏，测试集数据从没进去参与生产，避免了"抄答案"的嫌疑。
这也是它便宜、可移植的原因：换一个模型不需要重新训练，只需要重新调整"喂多少、怎么喂"这两个变量。
精选检索：更准反而更省
全量注入的代价是每一步ReAct都要重新携带整份guideline，输入token被不断放大。IBM给出的实测数字很直接：
DeepSeek-V3.2用全量guideline，单任务token消耗从148K涨到263K，涨了78%；gpt-oss-120b用全量guideline，从110K涨到166K，涨了51%——而它换成精选检索之后，token只涨了5%，涨分反而是全量策略的三倍多。
更准的答案不一定更贵，贵的往往是喂多了没用的部分。
值得一提的是，DeepSeek加了记忆之后，ReAct的推理步数基本没变（都在18到19步左右），token增长完全是每一步携带的输入变长，不是走了更多弯路。真正能兜住成本的手段是提示词缓存：guideline里固定不变的部分可以缓存复用，只要保持这部分内容稳定不动，全量注入在生产环境里也不至于失控。
一个博客说不清楚的问题
支撑ALTK-Evolve这套方法的一篇相关论文（arXiv:2603.10600）值得对照着看一眼。这篇论文报告的实验里，agent和guideline提取器用的是单一GPT-4.1模型，论文本身明确把"扩展到Qwen、GPT-OSS等多模型"列为未来工作。它在AppWorld上给出的最好成绩是TGC从69.6%提到73.2%，SGC从50.0%提到64.3%，hard任务的SGC从19.1%涨到47.6%——增幅可观，但比博客里DeepSeek-V3.2、gpt-oss-120b这些model的表现温和得多。
这中间的落差不代表数据有问题，更可能是这篇博客是论文之后的扩展研究，只是IBM没有把两者的关系交代清楚，也没有随博客公开支撑八模型结论的完整代码和数据。对一篇号称覆盖"从30B到前沿专有系统"的评测来说，这一步说明本该是标配。
- 风险.八模型结论目前只能算IBM单方面呈现的结果，独立第三方复现之前，最好把"精选检索更准更省"当作一个待验证的强假设，而不是可以直接套用的结论。
这套"按模型体质配药"的思路本身没什么问题——强模型给满、弱模型精选、饱和模型先别浪费token，这是很朴素的工程常识。但常识要立住，得靠可复现的证据撑着。现在这份证据，还差一段说清楚的方法论。