TracerML上线了一个叫Echo的系统。它自己不训练大模型,只把GLM-5.2、Kimi K2.7等一批开放权重模型放进同一个调度池,每收到一个请求就决定用哪几个模型、分配多少算力、怎么合并结果。团队给出的说法是:综合评测追平Fable,成本只要后者的约三分之一。

这个数字目前只有一个来源——项目方自己搭的第一轮评测。编码和智能体任务还没测完,团队自己也承认这两类任务更难量化。Echo真正要验证的,是跨模型路由能不能稳定压低推理成本,而不是又出一个模型入口。

Echo做什么:一层调度系统,不是一个新模型

Echo的起点是个思想实验。作者先让GLM-5.2、Kimi K2.7等模型跑同一批评测题,再倒推一个“上帝视角”——如果每道题都提前知道该用哪几个模型、答案怎么合并,这个假想系统的成绩会明显超过池子里任何一个单独模型。这套理想系统没法真的部署,它靠的是看到答案之后才做的判断。

Echo想在不知道答案的前提下,拿回这部分优势。简单问题可能只调一个轻量模型,复杂问题会拆给几个模型分头处理,再合并结果。目前的产品形态是两个入口:聊天界面echo.tracerml.ai,和一个兼容OpenAI格式的API,没有公开代码仓库,外部只能测试成品,看不到路由逻辑本身。

Echo的核心宣称 ≈ 持平 综合评测结果对比Fable 约1/3 对应推理成本 数据来源:TracerML自建首轮评测,编码/智能体任务尚未覆盖

三分之一成本对照的是谁,和MoE是两回事

有人把Echo拿去和OpenRouter类比。这个对照该拆开看——两者要证明的东西不一样。

项目角色核心问题
Fable被对标的效果与成本基准不做路由,是参照系
OpenRouter供应商抽象层统一接口、故障转移、模型切换
Echo多模型协作系统按请求分配算力,组合多个模型的输出

OpenRouter的基础设施已经被市场验证过,它解决的是“接得住”的问题。Echo要证明的是“编排本身能不能省钱”,这是两件事。

也有人把Echo比作MoE混合专家架构,这个类比不准。MoE在一个模型内部按token决定激活哪些专家参数,发生在训练好的单一模型里;Echo是在多个互相独立的外部模型之间,按每次请求做一次调度,模型彼此并不知道对方存在。前者是模型内部的稀疏计算,后者是产品层面的任务分配。

这组对比结果来自TracerML自建的首轮混合评测,编码和智能体任务还在测,量化每一步路由决策的好坏更难。现在这个数字更像一个待验证的结论,不能直接外推到所有场景。

谁该现在测,谁该先看看

按token付费的AI产品和工程团队,是这个结论最直接的目标读者。省钱的幅度高度依赖任务分布——如果大部分请求本来就能被便宜模型处理,路由带来的收益会被放大,三分之一更像上限,不是普遍适用的平均值。想验证这笔账,最实际的做法是拿自己的真实请求分布测一遍,而不是直接照搬官方评测数字。

看重数据控制、倾向自托管的企业技术决策者,现在还谈不上要不要用。Echo目前只提供聊天界面和API,是SaaS服务,没有开源代码或本地部署说明,接入前得先确认数据处理方式和隐私政策,再决定放不放进生产链路。

接下来值得盯的是三件事:编码和智能体任务的评测能不能补上,有没有第三方跑出独立结果,三分之一的成本优势在真实流量下能不能守住。这三个问题只要有一个没答案,现在的数字都只能算阶段性说法。