按token单价看,GPT-4.1本该更便宜——输入输出价格都比Claude Sonnet 4.6低,账面上没有悬念。但IBM Research用同一个CodeAct智能体跑完AppWorld Test Challenge的417项任务后,账本翻了车。
Sonnet总成本79美元,单项0.19美元;GPT-4.1总成本155美元,单项0.37美元。标价更低的模型,实际花费反而接近两倍。这不是算错了,是账算漏了。IBM把这次实测写成一份提醒:模型路由不是给任务贴难度标签、按标签选模型的分类题,而是要同时权衡成本、质量、延迟和合规的系统工程。直接相关的是两类人——正在搭建多模型智能体或模型网关的工程负责人,以及负责企业AI成本、合规和基础设施决策的技术管理者。
发生了什么:账本为什么翻车
差距的关键在缓存。Sonnet完成同样任务要多走大约三倍的推理步骤,理论上该更烧钱。但智能体任务会在多轮执行里反复复用大段上下文,缓存命中率一高,实际输入成本就会大幅下降。Sonnet的缓存读取单价更低,这一项优势抵消了它更高的基础定价和更长的执行轨迹。
| 模型 | 总成本(417项任务) | 单任务成本 | 推理步骤 |
|---|---|---|---|
| Claude Sonnet 4.6 | $79 | $0.19 | 约为GPT-4.1的3倍 |
| GPT-4.1 | $155 | $0.37 | 基准 |
IBM没有公开具体的缓存命中率数字,也没有给出测试的准确日期和API版本细节。这是这类实测常见的信息缺口,读者拿到的是结果,不是完整的计费过程,判断时要留这个心眼。
路由要算的不止是价格
按任务难度分流是最直觉的路由思路:简单任务给便宜模型,复杂任务给贵模型。这个假设有两处站不住。
第一,难度在路由那一刻往往看不见。一句"总结这份合同"表面简单,执行时可能触发检索、合规检查和多轮工具调用;一个看起来很技术的提问,反而可能被小模型高效搞定。任务到底有多难,常常要跑起来才知道。
第二,就算难度能提前判断,它也只是众多信号之一。企业场景里,路由还要同时兼顾成本、质量、延迟、可靠性、模型专长,再叠加隐私、数据驻留和模型准入白名单——理想模型可能因为治理约束根本用不了。延迟也一样:大模型不一定慢,小模型不一定快,硬件负载和缓存是否预热,往往比模型本身的推理速度更能决定用户等待时长。
IBM在AppWorld上实测了一套自己的路由算法,同时在成本、质量、延迟三个维度找最优操作点。延迟优先配置跑出84%准确率、93美元总成本、83秒延迟。
| 指标 | 延迟优先路由配置 | 相较单用Opus |
|---|---|---|
| 准确率 | 84% | 低4个百分点 |
| 总成本 | $93 | 低21% |
| 延迟 | 83秒 | 低9% |
省钱和降延迟不是白拿的,代价是准确率掉了4个百分点。路由本身的算力开销很轻,单任务约6毫秒、2KB内存,不会自己变成新瓶颈,但它换来的从来不是免费午餐。
锐评:这事对谁最要紧
《孙子兵法》讲"知彼知己,百战不殆",放这里同样成立——路由器要打赢的不是模型之间的价格战,是先摸清自己整套推理基础设施的真实运行成本,缓存、并发、endpoint状态样样都算数。谁的团队能实时看见这些数字,谁才有资格谈省钱;只盯着价目表做路由,账面便宜随时在账单上翻车。
对正在搭建多模型智能体或模型网关的工程负责人,这条实测的落点很具体:不要拿标价直接喂给路由分类器,先建一套按workload、按缓存命中率跑的实际成本监控,路由算法要覆盖成本-质量-延迟的组合优化,而不是单一难度判断。对负责企业AI成本、合规和基础设施的技术管理者,先划定合规能用的模型白名单,再谈成本优化——理论最优模型可能压根不在准入名单里,采购决策不能只比价目表,要看自己业务场景下的实测账单。
这组结果来自AppWorld特定基准、CodeAct智能体和特定模型版本组合,不能直接外推成"哪个模型更便宜"的通用结论。换一套工作负载、换一种缓存策略,排名可能整个反过来。接下来值得盯的,是模型厂商会不会针对性调整缓存定价来抹平这种套利空间,以及类似的路由结果能不能在AppWorld之外的基准上复现——目前这两点都还看不清。
