大模型智能体在技术演示里行云流水，一旦部署到真实业务流中，往往第二次执行相同任务就会莫名其妙地抛出异常。很多技术团队把这种现象归咎于采样随机性，以为把 Temperature 设为 0.0 再锁死随机种子就能买到高枕无忧的确定性。IBM Research 近期在技术报告与开源工具 ALTK-Evolve 中指出了一项被长期掩盖的事实，即能力强并不等于结果稳定，主流跑分榜单上的高分正在向工业界兜售虚幻的安全感。
24.4 个百分点的一致性落差
在基准评测 AppWorld test_normal 上，基于 GPT-4.1 的 ReAct 智能体展现出了出色的解题水准，其五次运行的平均成功率 Mean@5 达到了 77.4%。然而，当评测条件收紧为严苛的 Pass^5，即同一任务连续 5 次独立重复运行必须全部成功时，该比例瞬间暴跌至 53.0%。
这意味着近四分之一的任务，系统处于今天能解、明天会崩的随机状态。在困难任务上，这种一致性落差更是达到了 30 个百分点。在较弱的开源模型 GPT-OSS-120B 上，基线 Pass^5 甚至低至 10.1%，而对应的 Mean@5 尚有 33.9%。
在面向开发者的代码生成场景中，工业界习惯了 Pass@k 这种试错乐观指标，只要跑 5 次有 1 次蒙对，开发者就能采纳代码。但在企业级自动化流程中，任何一个环节都需要可靠的确定性。无论是财务账目的自动核对，还是法律合同的关键条款审查，系统不能接受 77% 的平均正确率背后挂着近一半的抽奖概率。
差之毫厘，谬以千里。智能体工程最大的陷阱，是把偶然跑通的侥幸当成系统能力的常态。
这种失控并非源于提示词没有写好，也不是单纯的模型参数规模问题。
硬件底层漂移与多步级联
为何锁定了 Temperature 为 0 仍然无法消除波动？问题出在云端推理集群的底层架构与长决策链的数学特性上。
在大模型推理端，模型在每一步输出时都会生成词元的概率分布。如果分布极其陡峭，首选词元的概率远超次选，微小扰动就不会影响输出。但当决策陷入模糊时，概率分布就会变得平坦，排名前列的若干候选词元得分咬得极紧。
在实际托管推理集群中，GPU 浮点运算并不严格满足加法结合律。并发调度请求的批处理动态变化，会导致细微的数值舍入偏差。这种十万分之一级别的扰动，已经足以让平坦分布里的次选词元翻盘变成首选。Greedy 解码与种子设定只能管住如何从分布中挑出最大值，管不住分布本身的微小沉浮。
更致命的是智能体动作的长链级联放大效应。一个包含数十步推理与工具调用的复杂工作流，只要某一步因为细微扰动做出了轻微变向，后续上下文就会彻底改变。2026 年针对 SWE-bench Verified 的 60,000 条轨迹测试同样证实，即使在 Temperature 为 0 的严苛控制下，单次运行的波动依然有 2.2 至 6.0 分，Pass@k 与 Pass^k 差距高达 24.9 分。如果要在统计学上以 80% 的功效检测出 2 分的细微差异，需要约 9 次独立重复；检测 1 分的差异，则需要约 36 次重复。单次跑分定优劣的评测方式，在统计学上根本站不住脚。
用记忆阻尼器锁死脆弱决策
针对这一痛点，IBM Research 在 ALTK-Evolve 框架中给出的解决方案不是暴力换用更大规模的模型，而是通过 Consistency Analyzer 定位脆弱步，再把经验转录为记忆准则。
这一体系的运行逻辑分为两个环节：
- 无真值诊断。分析器直接拿智能体已跑完的一条既有轨迹在不与真实环境重跑交互的前提下，对每一个推理步骤设定采样温度 0.5 重新采样约 N=30 次。系统提取候选动作中的 API 名称与调用参数计算 Jaccard 相似度，如果一致性分数低于 0.85，该步骤就会被立刻亮起红灯，标定为极易翻转的不稳定决策点。在 50 个 test_challenge 任务中，这套轨迹一致性指标预测任务最终成败的 AUROC 达到了 0.699。
- 三类准则规约。针对标记出的脆弱步骤，系统自动生成结构化规约，存入情节记忆库。这些准则分为三类巩固脆弱正确行为的 Strategy、规避不稳定致错动作的 Recovery、以及精简非必要不稳定步骤的 Optimization。在后续推理遇到类似场景时，系统通过余弦相似度检索将准则注入上下文，压缩模型选择空间的平坦度。
| 任务难度分层 | 基线 Pass^5 | 注入准则后 Pass^5 | 提升幅度 |
|---|---|---|---|
| 简单任务 (Easy) | 77.2% | 89.4% | +12.2 pp |
| 中等任务 (Medium) | 52.1% | 75.0% | +22.9 pp |
| 困难任务 (Hard) | 31.7% | 46.0% | +14.3 pp |
| 整体汇总 (Normal) | 53.0% | 69.0% | +16.0 pp |
注入同任务的一致性准则后，GPT-4.1 的 Pass^5 提升了 16.0 个百分点至 69.0%，对应 Mean@5 提升到 81.0%；注入相似任务准则后，Pass^5 也提升了 13.0 个百分点至 66.0%（Mean@5 为 79.5%）。即使在能力较弱的 GPT-OSS-120B 上，相似任务准则同样让 Pass^5 从 10.1% 升至 18.8%，且平均成功率从 33.9% 抬升至 40.5%。
穿透叙事：算力代价与稳定偏航
IBM 这项工作最有价值的地方，在于把智能体工程的靶心从虚浮的均值准确率拉回到了严苛的确定性防线。但在拆解其具体实现后，依然能看到清晰的技术边界与未解矛盾。
首先是官方博客与学术论文在采样开销上的认知落差。博客在介绍工具时为了展现轻量特性，着重强调单条轨迹仅需追加单次请求采样 k 个结果（默认 k=5）。但在技术报告的实证方案里，为了精准计算 Jaccard 相似度，每一个推理决策步都执行了约 N=30 次单步重采样。这意味着诊断单条轨迹要付出近 30 倍的离线推理算力开销。对于动辄包含数十步操作的长工作链，这种诊断成本相当可观。
更关键的问题在于逻辑定势，即稳定不等于正确。
Consistency Analyzer 衡量的是动作分布的重合度，而不是因果正确性。如果一个智能体在某个关键节点上，逻辑自洽、极其稳定地调用了一个错误接口，且 30 次重采样全部指向该错误操作，分析器不仅不会给出警示，反而会将其标记为高稳定性决策。如果不加批判地将这些动作沉淀入记忆系统，系统反而可能固化错误惯性。
- 风险.由于目前 ALTK-Evolve 缺乏因果验证留存集，未经严密过滤的记忆准则存在误伤泛化任务的隐患；且简单将各推理步的一致性分数取算术平均，忽视了长链逻辑里单点崩溃引发系统全盘覆灭的级联现实。
天下武功，唯稳不破。企业级 AI 架构师在采购与评估智能体系统时，应当立即将单一的 Mean 均值指标降级，强制要求服务方提供 Pass^k 的分布衰减曲线。一个在基准上刷出 80% 平均分、但 Pass^5 仅有 40% 的系统，在关键生产链路上就是一颗随时会被浮点扰动引爆的定时炸弹。