语音AI公司Hume AI在7月发布了一套新基准,叫Real World VoiceEQ,专门衡量语音模型有多“像人”。它评测了40多个主流商业和开源语音模型,覆盖识别、合成、语音对话、语音理解四大类,用超过100万条人工评分打底,整个评测跑在Hume自研的Kairos平台上。官方给出的核心结论是:语音AI已经没有单一的“最强王者”。但如果拆开各条赛道单独看榜单,情况没那么“分散”——Gemini系列几乎包揽了三大类别的头名。

一场评测,两种说法

Real World VoiceEQ的规模确实不小。TTS部分做了30项评测、496个提示词、近3.9万次生成,收集到约78.6万条评分;语音对话(S2S)部分收集了约4.8万条评分。打分的人主要是英美加的英语母语者,每段音频至少经过3人独立打分,用五点量表评分,再用z分数标准化和混合效应模型消除评分者之间的系统性偏差。这套方法论比传统只看词错误率、延迟的老基准要细得多。

官方给出的解读是:语音AI正在走向专业化分工,没有哪个模型能同时在TTS的八大能力组里都排进前五。这个说法在TTS内部确实成立——领先各分项的模型五花八门:Gemini 3.1 Flash擅长角色扮演和表现力,Gemini 2.5 Pro在可靠性上领先,Inworld TTS-1 Max语言稳定性最好,Kokoro-82M在长文本说话人一致性上占优,Cartesia Sonic 3.5声学质量最高,Fish Audio S2综合覆盖面最广。

但把镜头拉远,跳出TTS内部的八个分项,去看TTS、S2S、语音理解这三个大类各自的总冠军,画风就变了。

揭榜:Gemini拿下的三条赛道

赛道冠军关键数字说明
S2S综合Gemini 3.1 Flash Live情绪对齐、问题重定向均领先
语音理解(情绪/合成检测)Gemini 3.1 Pro通用能力最强的系统
说话人验证TitaNet Large89.5%专用模型反超通用大模型
ASR总榜ElevenLabs Scribe v26.72% WER排名第一
ASR开源最佳Qwen3-ASR-1.7B7.43% WER开源阵营最优
ASR速度Parakeet-TDT-0.6B-v3411倍实时、8.34% WER速度与精度的平衡点

也就是说,“没有单一最强模型”这句话,放在TTS内部的八个能力细分里是成立的,但放到TTS、S2S、语音理解这三个大类别的“谁是第一”上,答案高度集中在同一个厂商身上。真正呈现出多元格局的,其实只有ASR这一条赛道——ElevenLabs守住商业模型头名,Qwen3-ASR撑起开源阵营,NVIDIA的Parakeet在速度上另辟一条路。

分散的是分项,不是格局。

“开放基准”背后那副不公开的耳朵

Real World VoiceEQ以Hugging Face Space的形式公开托管交互式榜单,看起来是一套开放基准。但支撑ASR评测的核心语料——覆盖口音、情绪、噪声、对话四类场景,总时长约17小时——在官方技术文档里被明确标注为“私有数据集”,目前没有可下载的完整语料或原始评分数据。

  • 风险.一个自称衡量“真实世界”表现的基准,如果核心测试集不公开,第三方就没法复现结果,也很难验证厂商是不是在针对这套标准的公开部分做了优化。原文里提到的“部分模型复现已知转录错误、脑补音频中并不存在的被遮蔽词”的现象,本身就是过拟合公开基准的证据——而一个不公开的私有测试集,恰恰能在一定程度上避免这个问题,但代价是外界无法独立验证。

还有一层原文没提的背景:Hume AI靠“共情语音”技术起家,长期专注情绪和副语言识别,这次发布评测基准,同时也在推销自己的Kairos评测平台——面向前沿实验室和企业出售定制评测、故障诊断、强化学习人类反馈数据。它既是裁判员,又在向场上的球员卖装备。这不代表榜单结果一定失真,但这层商业关系值得放在结论旁边一起看。

企业该怎么选,接下来盯什么

对正在选型语音AI的客服、银行、医疗团队来说,这份榜单最大的启发不是“选哪个模型最强”,而是“不同场景该用不同模型”。银行播报账户信息、复述订单号,看重的是ElevenLabs Scribe v2这类ASR精度;做情感陪伴或角色扮演,Gemini系列的表现力和情绪对齐更合适;做纯粹的说话人身份核验,专用小模型TitaNet Large反而比通用大模型更准。单一供应商很难覆盖全部场景,组合使用会成为更现实的选择。

接下来值得观察的是三件事:被点名的厂商会不会回应或质疑这套方法论;Hume会不会为了打消“伪开放”的疑虑而公开那17小时的私有语料;以及Kairos这门评测生意,到底有没有实验室愿意真金白银采购。