Meta FAIR 联合华盛顿大学和约翰斯·霍普金斯大学,让 Kimi-K2.6 给智能体改写记忆读写提示。在 SQL、代码仓库修复和无线电扫描三项持续学习任务中,保留优化提示时,平均分是 56.0,四种人工策略取优的基线是 44.6。代码仓库涨得最多,拿到 64.3 分,比该任务的最佳人工策略高 20.6 分。
研究团队还用优化提示生成的执行记录微调了模型。评测时统一换回通用提示,用优化记录训练的模型拿到 43.1,用通用记录训练的对照拿到 37.6。这组对照说明训练记录有用,却还不能说明模型究竟更会管笔记,还是更会做题。两组分数的基线不同,不能拿来算有多少提示收益进了权重。
<svg viewBox='0 0 680 244' width='100%' height='244' role='img' aria-label='两组评测分别比较提示策略和微调轨迹'>
<rect x='0.5' y='0.5' width='679' height='243' rx='8' fill='#fbf9f4' stroke='#e2dccf'/>
<text x='28' y='39' font-size='20' font-weight='700' fill='#b25a3a'>两组分数,两种比较</text>
<line x1='28' y1='56' x2='652' y2='56' stroke='#e2dccf' stroke-width='1'/>
<rect x='28' y='77' width='300' height='139' rx='6' fill='#fbf9f4' stroke='#e2dccf'/>
<rect x='352' y='77' width='300' height='139' rx='6' fill='#fbf9f4' stroke='#e2dccf'/>
<text x='178' y='111' text-anchor='middle' font-size='18' font-weight='700' fill='#2c2822'>人工与优化提示</text>
<text x='502' y='111' text-anchor='middle' font-size='18' font-weight='700' fill='#2c2822'>通用与优化轨迹</text>
<text x='105' y='163' text-anchor='middle' font-size='36' font-weight='700' fill='#2c2822'>44.6</text>
<text x='251' y='163' text-anchor='middle' font-size='36' font-weight='700' fill='#2c2822'>56.0</text>
<text x='429' y='163' text-anchor='middle' font-size='36' font-weight='700' fill='#2c2822'>37.6</text>
<text x='575' y='163' text-anchor='middle' font-size='36' font-weight='700' fill='#2c2822'>43.1</text>
<line x1='158' y1='151' x2='191' y2='151' stroke='#7a7266' stroke-width='1'/>
<polygon points='191,147 199,151 191,155' fill='#7a7266'/>
<line x1='482' y1='151' x2='515' y2='151' stroke='#7a7266' stroke-width='1'/>
<polygon points='515,147 523,151 515,155' fill='#7a7266'/>
<text x='178' y='194' text-anchor='middle' font-size='14' fill='#7a7266'>保留各自提示</text>
<text x='502' y='194' text-anchor='middle' font-size='14' fill='#7a7266'>统一用通用提示</text>
</svg>
仓库笔记写得越多,关键线索越难找
实验里,每个子任务都从空白上下文开始,只有一个可读写的记忆目录能留下来。OFFLOAD 决定做完后记什么、放哪儿,LOAD 决定下次开工先翻什么。模型能不能接着干,取决于上一次有没有留下找得到的线索。
研究帖里的代码仓库案例很具体。笔记越写越长,最后堆成一份大文档,智能体还在反复摸索仓库细节。一次改写把笔记拆成精简的入门文件、修复索引和独立修复文件,拿到 55.7 分;另一种改写只拿到 36.6 分。这和图书馆的目录卡有点像:馆藏再多,找不到那一本,也得从头翻。至于涨分有多少来自索引、多少来自提示顺带教了模型怎么修代码,当前对照还分不开。
谁写得更好,得看谁试了多少次
所谓最佳人工策略,只限于四种人工设计的起始方案。模型从这些方案出发反复改写,44 次修订有 37 次没超过此前最好成绩。模型提改法,基准评分决定谁留下。这个结果足以说明搜索能找出好用的提示,至于模型是否比人更会设计记忆,还得让双方拿着同样的任务信息,花同样的迭代和推理预算再比。
蒸馏的账也要单算。团队保留模型在优化提示下的推理和工具操作,把训练记录里的提示换成通用版,再做 LoRA 微调。跨任务笔记仍在文件里,部署时也不会边做题边更新权重。我更想看一个拆得干净的实验:用同一批解题轨迹,只改变记忆读写的训练信号,再测模型能不能更快找到旧线索、少做重复工作。否则,解题能力的进步也可能被算到记忆头上。
部署时,按少走的回头路付钱
Continual Learning Bench 的榜单同时看任务回报、相对系统自身无状态基线的增益和成本。这个口径比单看 56.0 更适合做选型。对任务重复、文件结构稳定的团队,我会先试专用提示:它可以锁定,放到未参与筛选的新任务流上重跑,也能直接查日志,看模型还会不会反复摸索同一处。
真要在专用提示、蒸馏和上下文压缩之间选,就用同一批任务和同样的预算比。把离线搜索和微调摊进使用成本,再看每次多花的令牌、文件调用和等待时间。那份修复索引值不值得保留,取决于它省下了多少次重新摸索,以及一次过时的笔记会把后面多少次任务带偏。
