MarkTechPost 一篇标注于 2026 年 11 月 19 日 17:47 UTC 的报道,标题称 Perplexity 推出了用于故障切换和模型路由的 Orchestrator API。这个时间是媒体页面的标注时间,现有信息不足以确认 API 的正式上线日期、开放范围和备用部署覆盖。

按 Perplexity 官网博客摘要的说法,指定模型的请求失败后,Orchestrator 会尝试更换部署;如果应用用了 perplexity/auto,网关则可以在执行前选择模型。前一种做法和 OpenRouter 的同模型故障切换相近,后一种与 OpenRouter 的有序备用模型列表解决的是不同问题。博客摘要给出的计价口径是按所选模型公开的 token 单价收费,不随实际提供推理的供应商变化;失败尝试是否收费,摘要没有说明。

Orchestrator 把选模型和换部署放在不同阶段

应用指定一个模型后,Orchestrator 会跟踪供应商的健康状况、容量和延迟,在请求失败或遭遇限流时尝试该模型的其他部署。应用若改用 perplexity/auto,团队可以配置路由描述,让网关按任务选择起始模型,也可以设定默认模型。此时即使没有故障,不同请求也可能交给不同模型。

OpenRouter 也支持同模型的供应商切换,但它的有序 models 列表规定的是原定模型失败后,按什么顺序试用其他模型。团队在这里授权的是故障时的替代顺序;用 perplexity/auto 时,团队交给网关的是请求开始时的选模决定。前者需要验收备用模型的输出,后者连正常流量也要纳入评估。

Vercel AI Gateway 的文档(vercel.com)也将供应商故障切换描述为保留模型、切换供应商,并提供供应商顺序和回退控制。

模型在什么时候变 执行前 按任务选模 决定起始模型 请求失败后 同模型切换 只更换部署 请求失败后 跨模型回退 试用其他模型

锁定模型的业务,先查备用部署能不能接手

如果客服系统只验收过某个模型的工具调用和结构化输出,接入前就该核对这个模型有哪些备用部署、版本和接口行为是否兼容,以及切换后数据是否仍留在获准地区。模型名不变,不代表这些条件也不变。能接受模型替换的团队,则要把路由后的输出质量和每次成功请求的成本一并纳入验收,不能只看 token 标价。

现有的机制说明还不能证明网关提高了生产环境的成功率。对平台团队,更有用的测试是给直连供应商和托管网关同一批请求、同样的延迟预算,再模拟上游限流,比较有多少请求能按时返回合格结果。尤其要单测已经吐出部分内容的串流:能否切换、客户端能否识别中断或重试,决定了用户看到的是完整回答,还是一段停在半截的文字。