把一个支持零样本声音克隆的实时文本转语音（TTS）模型塞进手机浏览器，到底要砍掉多少东西？Zyphra 在 2026 年 11 月给出的答案是 ZONOS3-Mini：基于 Apache 2.0 协议开源，采用稀疏 MoE 架构，总参数 800M（官方产品页标注为 886M），每 token 激活参数仅约 100M。它只用 112 张 NVIDIA H100 训练了 2.5 天，就能在 M3 MacBook Air 浏览器里跑出低于 150 ms 的首包延迟，连 Pixel 9 手机浏览器通过 WebGPU 运行也压到了 570 ms 以内。
纸面指标看着像把开源端侧 TTS 的门槛踩穿了。在 Zyphra 自建的 ZTTS2-Eval 榜单上，它以 66.2 分力压 5B 参数的 Fish Audio S2 Pro（61.7 分）和 8B 参数的 MOSS-TTS v1.5（60.2 分）拿下开源第一。但如果扒开模型卡与独立实测的底裤，这颗端侧小钢炮藏着两处硬伤：一是夺冠的 66.2 分只属于牺牲原声韵律的说话人嵌入模式，换回直接喂音频的参考片段模式立刻暴跌至 44.7 分；二是激活参数小不等于内存占用低，独立测试在 Mac 的 MLX 框架下跑初始克隆，内存峰值直接冲到了 16 GB。
15 Hz 帧率与混合骨干网怎么把算力榨干
前代模型 ZONOS2 顶着 8B 稠密参数和 86 Hz 的高帧率编解码器，每秒要自回归生成海量 token，出了服务器就寸步难行。ZONOS3-Mini 能把推理塞进浏览器，靠的不是单纯把模型做小，而是把整套语音生成的序列长度和单步计算量一起砍了一刀。
核心功臣是自研的 ZAC-1 音频编解码器。它把帧率从前代的 86 Hz 暴力压低到 15 Hz，用 1 个语义码本加 9 个声学码本处理信息，生成每一帧后通过因果 iSTFT 头立刻渲染成 44.1 kHz 音频。每秒需要预测的步数少了五分之四以上，主干网络又用 9 层 Gated DeltaNet 线性注意力搭配 2 层全局注意力，按 64 专家 top-2 路由每次只激活约 100M 参数。这也是为什么它能在 32,768 上下文窗口里一口气生成 10 分钟音频，还能靠激活引导（Activation Steering）在流式输出时针对单个词调整语速和情绪。
但官方海报把单张 H100 上 80 ms 的首包延迟和每秒生成 457 秒音频的峰值吞吐并列放在一起，多少玩了点文字游戏。翻看 Hugging Face 模型卡就会发现，80 ms 是在 8 并发下测出的中位数，而 457 秒/秒是拉满并发测出的极限吞吐，两者根本不在同一个工况下，而且测试全程避开了计算开销更大的参考音频上下文模式。
榜首跑分的双标与 16 GB 的端侧内存暗礁
我不太买账的是 Zyphra 拿着自建评测榜单宣告胜利的姿态。裁判和运动员同属一家公司本就是大模型发榜的常态，但 ZONOS3-Mini 在不同声音克隆模式下的表现分裂得实在太厉害。
| 模型 / 评测指标 | ZONOS3-Mini | Fish Audio S2 Pro | MOSS-TTS v1.5 | Qwen3-TTS 1.7B |
|---|---|---|---|---|
| 总参数 / 激活参数 | 800M / ~100M | 5B / 未公开 | 8B / 未公开 | 1.7B / 未公开 |
| 开源协议 | Apache 2.0 | 研究许可 (商用另授) | Apache 2.0 | Apache 2.0 |
| ZTTS2 综合指数 | 66.2 (片段模式 44.7) | 61.7 | 60.2 | 37.7 |
| 纯净集词错率 WER | 7.79 | 11.06 | 11.01 | 25.55 |
| 纯净集音质 UTMOS | 3.07 | 3.16 | 3.04 | 3.54 |
模型自带的 MECT-B2 说话人编码器支持两种玩法：一种是把原声压成一个 192 维的说话人嵌入向量（Speaker-embedding），另一种是直接塞入最长 60 秒的原始参考音频片段（Reference-clip）。官方榜单上拿来压倒竞品的 66.2 分，完全是在嵌入模式下跑出来的；一旦切到直接喂参考音频的模式，综合得分直接摔到 44.7 分。
压缩的是向量，丢掉的是原声里的活人呼吸与停顿。
Zyphra 官方自己的解释很诚实：嵌入模式生成的语音更自然，但参考音频片段模式才能紧密保留原声的韵律。拿掉了原声韵律的 192 维向量，本质上是把声音克隆降格成了“音色捏脸”，自然不容易出错，所以在词错率（WER 7.79）和说话人相似度（83.4）上刷出了漂亮数字。即便如此，在衡量绝对音质的纯净集 MSR-UTMOS 评分上，它依然只有 3.07 分，不仅输给 Fish S2 Pro 的 3.16 分，更被 1.7B 参数的 Qwen3-TTS（3.54 分）甩开一截。
更现实的坑在端侧工程部署上。MoE 架构的特点是“省算力不省显存”，100M 激活参数只管单步推理快慢，800M 甚至 886M 的总权重加上编码器照样得进内存。独立测试报告显示，在 RTX 5080 上跑量化的 GGUF 格式确实只需要 2.4 到 2.5 GB 显存；但换到 64 GB 内存的 M5 Pro Mac mini 上用官方支持的 Apple MLX 框架跑初始声音克隆，内存峰值直接飙到了约 16 GB。如果一个开发者冲着“100M 轻量级”把它塞进 8 GB 或 16 GB 统一内存的普通 Mac 客户端里，用户第一次录完音准备克隆时大概率会直接把机器卡死。
《韩非子》里讲“一手独拍，虽疾无声”，模型结构瘦身得再快，运行时框架和跨语种数据接不住，端侧落地照样响不起来。这很像早期 PC 声卡把波表合成器硬压进几兆内存的年代，为了省容量把采样率砍到极致，听个响没问题，真要还原乐器细节立刻露怯——当然今天的情况不完全一样，神经网络编解码器靠语义码本保住了可懂度，但底层用激进压缩换实时性的利益账本分毫未变。
- 风险.第三方基准追踪库已曝出早期工程缺陷，包括在法语和西班牙语生成中使用英语语音前缀时表现脆弱，以及 Windows 平台存在构建与编码问题，多语种桌面应用切勿盲目直接上生产环境。
对于独立游戏开发者和做端侧语音助手的团队，ZONOS3-Mini 最值钱的其实是那张 Apache 2.0 许可证和词级情绪控制能力，毕竟同梯队的 Fish Audio S2 Pro 商用还得单独掏钱买授权。如果你的场景只需要固定几个预设的 192 维音色向量、在浏览器或 GGUF 环境里低成本实时说话，它现在就能替你省下一大笔云端 API 账单；但如果你指望用户随手传一段语音就能完美复刻语气神态，或者想在低配 Mac 上无感运行 MLX 原生服务，不妨先看看 Zyphra 接下来怎么填平那 44.7 分的片段克隆大坑和 16 GB 的内存窟窿。