用上一代非推理模型击败当下最顶尖的前沿模型，是科技界最喜欢的叙事。IBM Research 最近展示的 ALTK-Evolve 框架似乎又提供了这样一个范例：在完全不微调模型权重的前提下，仅使用旧款 GPT-4.1，在 Sierra 设立的客服基准 τ²-bench 零售榜单上拿下了 67.5% 的 Pass^4 成绩，直接压过了 GPT-5.2、Claude Opus 4.5 以及 Gemini 3 Pro 等一众前沿选手。
但这并不是算法智能的代际逆袭。如果把评测细节、调用成本和任务结构拆开来看，这更像是一次用工程规训强行压制模型随机方差的典型样本。
指标的陷阱：前沿模型为何倒在 Pass^4
τ²-bench 的测试环境非常苛刻。它面对的是真实策略约束下的客服场景，退款、查单、改签等操作往往直接调用后端接口，一旦执行就产生真实的状态改变。每个任务只有在数据库终态完全正确时才算成功，评测引入了多轮客户模拟器，并且主要看 Pass^4——也就是连续 4 次独立尝试必须全部正确才计分。
前沿模型并非在单次解决能力（Pass^1）上落后，但极度严苛的连续成功率放大了其内在方差。
在官方排行榜的基准对比中，未带外置记忆的前沿推理模型在零售 114 个任务上的 Pass^4 明显受制于方差。其中 GPT-5.2（high reasoning）为 51.75%，Claude Opus 4.5 为 51.75%，Gemini 3 Pro 为 47.37%，Claude Sonnet 4.5 仅有 39.47%，连微调过的开源模型 RAFT-30B-A3B 也只有 61.4%。
前沿推理模型的单次推理能力很强，但在复杂的不可逆流程里，哪怕四轮尝试中出现一次失误，整个任务就直接归零。ALTK-Evolve 的核心动作，是从历史任务的失败轨迹中自动提取规则，生成类似在执行数据库更新前必须获得用户显式确认、姓名查询前先清洗特殊字符这类准则，以纯文本形式追加到 ReAct 智能体的系统提示词中。它解决的不是智能不足，而是给容易跳步的执行流戴上了一套刚性夹板。
跑分的成色与开卷边界
IBM 展现出的惊人数据，需要在具体的实验口径下审视。
榜单宣传的 67.54% 并非全是在未见过的环境里跑出来的。向 Sierra 提交的 PR #542 中，评测覆盖了 114 个任务的全集，而其中包含用来提炼记忆规则的 74 个训练任务与 40 个留出任务。换句话说，所谓登顶的分数，实际上是在一个包含大量开卷试题的混合集上跑出的结果。
回到真正未见过的留出测试集（held-out test set），数据的统计敏感度立刻显露出来。
在 Retail 的 40 个留出任务中，Pass^4 从 57.5% 提升到 67.5%，换算成绝对数量，仅仅是在 40 个场景里多了 4 个任务做到了连续四轮全对。在 Airline 只有 20 个留出任务的测试集上，Pass^4 从 35.0% 升到 45.0%，绝对增量也只有 2 个。
环境控制也存在不可忽视的差异。IBM 的评测中使用的客户模拟器是 GPT-5.5，而 Sierra 官方排行榜历史基线普遍使用的是 GPT-5.2 模拟器。模拟器本身的对话顺应度和解析能力差异，对最终终态的达成有直接影响。正因在系统提示词中追加了大量外部规则并改变了基线条件，IBM 提交的 PR #542 和 PR #551 至今仍处于 Open 状态，且明确披露预期将被官方标注为 Unverified（未验证）。
- 风险.小样本测试集中 2 到 4 个任务的翻盘，在统计置信度上极其脆弱，长上下文注入的泛化稳健性依然面临很大不确定性。
规则的经济学：65% 的成本溢价与负迁移
天下没有免费的捷径。将大量经验规则直接塞进提示词，直接带来了 Token 消耗与成本的激增。
在 Retail 场景下，加入 292 条规则的无损模式（lossless）虽然把平均准确率从 78.1% 提升到 82.5%，但单次会话的 LLM 成本从基线的 $0.084 飙升到了 $0.139，成本涨幅高达 65%（PR #542 提交中报告的基准值为 $0.1084）。
不仅如此，经验规则并非越多越好，不同业务场景表现出了明显的知识反噬。
| 业务场景 | 配置版本 | 规则条数 | 平均准确率 | Pass^4 指标 | 单次会话成本 |
|---|---|---|---|---|---|
| Retail | Baseline | 0 条 | 78.1% | 57.5% | $0.084 |
| Retail | Lossless (全量) | 292 条 | 82.5% | 67.5% | $0.139 (+65%) |
| Airline | Baseline | 0 条 | 57.5% | 35.0% | $0.081 |
| Airline | Sup3 (核心高置信) | 14 条 | 60.0% | 45.0% | $0.097 (+19%) |
| Airline | Lossless (全量) | 101 条 | 65.0% | 40.0% | $0.107 (+32%) |
在航空票务场景下，全量塞入 101 条规则虽然让平均准确率达到 65.0%，但在最看重稳定性的 Pass^4 指标上，只有 40.0%，反而大幅落后于仅保留 14 条高频规则的 sup3 核心配置（45.0%）。过多的规则在逻辑交织的业务里引发了指令冲突，导致智能体在不可逆操作前陷入过度犹豫或误判。
当然，该方案在执行层面也有实际收获。在匹配解出的任务中，加装规则使平均交互轮次减少了约 0.3 到 0.4 轮（Retail 从 10.59 降至 10.16，Airline 从 9.15 降至 8.82）。这是因为规则提前指明了信息索取的固定格式，智能体不再反复试错问询。但在工业落地上，这种收益高度依赖提示词缓存（Prompt Caching）的命中率，否则长上下文的吞吐和延迟依然会吞噬掉架构师的预算。
决定智能体商用成败的，往往不是通用智力的上限，而是不可逆长链条里的合规下限。
当把同样的机制搬到前沿模型上时，效果同样被放大了。在 Airline 测试集上使用 GPT-5.5 配合自身提炼的 146 条规则，Pass^4 直接从基线的 55.0% 跳到了 70.0%，平均准确率达到 82.5%。
- 结论.外置记忆并不是用来替代前沿基础模型的廉价代用品，它更像是一种外挂的降方差工程锁；在严苛的商业约束下，模型越强，这条安全带能换来的可靠性边际效益反而越高。