按token单价看,GPT-4.1本该更便宜——输入输出价格都比Claude Sonnet 4.6低,账面上没有悬念。但IBM Research用同一个CodeAct智能体跑完AppWorld Test Challenge的417项任务后,账本翻了车。

Sonnet总成本79美元,单项0.19美元;GPT-4.1总成本155美元,单项0.37美元。标价更低的模型,实际花费反而接近两倍。这不是算错了,是账算漏了。IBM把这次实测写成一份提醒:模型路由不是给任务贴难度标签、按标签选模型的分类题,而是要同时权衡成本、质量、延迟和合规的系统工程。直接相关的是两类人——正在搭建多模型智能体或模型网关的工程负责人,以及负责企业AI成本、合规和基础设施决策的技术管理者。

发生了什么:账本为什么翻车

差距的关键在缓存。Sonnet完成同样任务要多走大约三倍的推理步骤,理论上该更烧钱。但智能体任务会在多轮执行里反复复用大段上下文,缓存命中率一高,实际输入成本就会大幅下降。Sonnet的缓存读取单价更低,这一项优势抵消了它更高的基础定价和更长的执行轨迹。

模型总成本(417项任务)单任务成本推理步骤
Claude Sonnet 4.6$79$0.19约为GPT-4.1的3倍
GPT-4.1$155$0.37基准

IBM没有公开具体的缓存命中率数字,也没有给出测试的准确日期和API版本细节。这是这类实测常见的信息缺口,读者拿到的是结果,不是完整的计费过程,判断时要留这个心眼。

同样417个任务,账单为何不同 Claude Sonnet 4.6 $79 总成本 · $0.19/任务 推理步骤约多3倍 缓存读取单价更低 GPT-4.1 $155 总成本 · $0.37/任务 token标价更低 但缓存收益更小

路由要算的不止是价格

按任务难度分流是最直觉的路由思路:简单任务给便宜模型,复杂任务给贵模型。这个假设有两处站不住。

第一,难度在路由那一刻往往看不见。一句"总结这份合同"表面简单,执行时可能触发检索、合规检查和多轮工具调用;一个看起来很技术的提问,反而可能被小模型高效搞定。任务到底有多难,常常要跑起来才知道。

第二,就算难度能提前判断,它也只是众多信号之一。企业场景里,路由还要同时兼顾成本、质量、延迟、可靠性、模型专长,再叠加隐私、数据驻留和模型准入白名单——理想模型可能因为治理约束根本用不了。延迟也一样:大模型不一定慢,小模型不一定快,硬件负载和缓存是否预热,往往比模型本身的推理速度更能决定用户等待时长。

路由要同时压住四层约束 成本 · token价格 × 缓存命中率 质量 · 任务准确率、模型专长 延迟 · 服务端负载、缓存冷热、路由粒度 合规与准入 · 隐私、数据驻留、模型白名单

IBM在AppWorld上实测了一套自己的路由算法,同时在成本、质量、延迟三个维度找最优操作点。延迟优先配置跑出84%准确率、93美元总成本、83秒延迟。

指标延迟优先路由配置相较单用Opus
准确率84%低4个百分点
总成本$93低21%
延迟83秒低9%

省钱和降延迟不是白拿的,代价是准确率掉了4个百分点。路由本身的算力开销很轻,单任务约6毫秒、2KB内存,不会自己变成新瓶颈,但它换来的从来不是免费午餐。

锐评:这事对谁最要紧

《孙子兵法》讲"知彼知己,百战不殆",放这里同样成立——路由器要打赢的不是模型之间的价格战,是先摸清自己整套推理基础设施的真实运行成本,缓存、并发、endpoint状态样样都算数。谁的团队能实时看见这些数字,谁才有资格谈省钱;只盯着价目表做路由,账面便宜随时在账单上翻车。

对正在搭建多模型智能体或模型网关的工程负责人,这条实测的落点很具体:不要拿标价直接喂给路由分类器,先建一套按workload、按缓存命中率跑的实际成本监控,路由算法要覆盖成本-质量-延迟的组合优化,而不是单一难度判断。对负责企业AI成本、合规和基础设施的技术管理者,先划定合规能用的模型白名单,再谈成本优化——理论最优模型可能压根不在准入名单里,采购决策不能只比价目表,要看自己业务场景下的实测账单。

这组结果来自AppWorld特定基准、CodeAct智能体和特定模型版本组合,不能直接外推成"哪个模型更便宜"的通用结论。换一套工作负载、换一种缓存策略,排名可能整个反过来。接下来值得盯的,是模型厂商会不会针对性调整缓存定价来抹平这种套利空间,以及类似的路由结果能不能在AppWorld之外的基准上复现——目前这两点都还看不清。