一台最基础的 8GB 内存 M3 MacBook Air,处理一小时音频只需要 12.6 秒。
这个名为 Embedding Gemma Transcribe 的开源项目,在苹果轻薄本上跑出了 288 倍实时速度。当多数本地语音转写工具还在纠结自回归大模型的吞吐、逼着用户换购大显存工作站时,这个项目用完全反常规的路径,把端侧听写的性能上限拉高了一个量级。
更离谱的是底层逻辑:它所依赖的核心基座 EmbeddingGemma 2,在 Google 的官方定义里压根不是语音识别模型。
把语音识别降维成查字典
Google 的官方模型卡写得很清楚,EmbeddingGemma 2 只输出 768 维连续向量,专用于文本、音频、图像的跨模态检索与聚类。它包含一个约 300M 参数的音频编码器,总参数量约 740M,官方从未设计让它吐出哪怕一个单词的转写文本。
在既定认知里,语音转文字是一项严苛的序列生成任务。无论是 Whisper 还是专用的 CTC 架构,都需要模型理解时序上下文并逐步解码。但这个项目做了一次典型的结构投机:多模态嵌入空间天然具有几何对齐的特性。你开口念出一个单词,它的音频向量落点,与这个单词的文字向量落点距离极近。
既然距离极近,为什么还要大费周章去生成?
开发者保留了原封不动的 300M 音频编码器,音频采样率为 16 kHz,每秒切出约 25 个 token。他们只用 8 张 H100 训练了不到两个小时,训出一个极轻量的 reader 读出头。这个读出头不负责理解语义,只负责把音频切片挪进文字空间,在预置的约 229,000 个英文词表中做近似最近邻检索,哪个词离得最近就选哪个,最后再由一个极小模型补齐标点与大小写。
语音识别在这套逻辑下,从消耗算力的生成任务,被降维成了几何空间的查表匹配。
苹果神经网络引擎的搬砖红利
这种计算方式,恰好撞上了苹果芯片的设计甜蜜点。
许多人在 Mac 上跑本地模型会优先选用 MLX 框架。但 Apple 官方的 MLX 目前仅支持 CPU 与 GPU,并不支持神经网络引擎(Neural Engine)。相比之下,针对 Mac 的 FluidAudio 框架选择通过 Core ML 将静态计算图直接编译到神经网络引擎上运行。
IBM 开源的 Granite Speech 5.0 TurboCTC 在 MLX 架构下依赖 GPU 运算,在基础款 M3 上的速度大约在 150 倍实时区间,一小时音频需要跑 25.7 秒。即使在社区优化版本中,Granite 在这台机器上最高能触及 163 至 450 倍实时速度,但那是纯专用 ASR 架构榨干算力的结果。
而在同样这台 8GB 内存设备上,Embedding Gemma Transcribe 将音频编码与近邻搜索推给神经网络引擎后,跑出了 12.6 秒吞下一小时音频的成绩。
它不是算得更快,而是算得更少;检索避开了最昂贵的自回归惩罚。
算力开销被大幅削减后,即便在面对更大规格的专用模型时,数字也相当刺眼。NVIDIA 的 Parakeet TDT 0.6B 在 M2 MacBook Air 上运行 FluidAudio 基准时,速度通常在 77.6 到 85.7 倍之间;即便把它放到更高阶的 M4 Pro 或 M5 Pro 上,速度也是在 156 倍到 335 倍区间浮动。
一台最廉价的轻薄本,在特定吞吐指标上反超了高阶芯片。
偷工减料带来的精度暗礁
但天下没有免费的午餐。用几何检索替代语言模型,代价立刻体现在了准确率上。
目前该项目的词错误率(WER)约为 5%。对比业界标准,专为语音设计的先进模型 WER 通常能压到 2% 至 3% 之间。即便是同在 5% 水平线的 IBM Granite 5.0 TurboCTC,或是基准测试在 2.6% 到 6.34% 区间的 NVIDIA Parakeet,背后都有完备的上下文纠错逻辑。
没有长程语言模型约束,单纯基于切片的近邻检索有着天然的软肋:
- 同音词灾难在声学特征极其相似时,系统缺少上下文概率来判断该选哪个词。
- 生僻词与连读失效22.9 万个静态词表看似庞大,但只要遇到口音扭曲或吞音,向量偏移就会直接落入错误的近邻格子。
- 风险.5% 的错误率在听写短信或粗略会议纪要时勉强可用,但在专业听写场景下,这意味着每 100 个词就必须人工修正 5 个,极速带来的时间红利很容易被校对成本抵消。
还有一个被基准测试刻意忽略的工程陷阱:冷启动编译耗时。依托 Core ML 编译至神经网络引擎的模型往往存在漫长的初始化过程,部分模型首次加载甚至需要几十秒预热,极速仅仅发生在其跑顺之后的流式阶段。同时,如果计算图里含有复杂的动态注意力算子,算子一旦被回抛给 CPU 或 GPU,整体性能甚至会落后于纯 GPU 方案。
- 结论.这绝非一次严肃的架构替代,Google 官方规划里的语音路线依然是 Gemma 3n 与 Gemma 4 等庞大生成模型;但它证明了当高维表征足够精确时,粗暴的几何映射可以在边缘设备上撕开一道能效缺口。
十三秒转写一小时,是端侧工程师对传统算力堆叠的一次轻巧逆袭。它还不完美,但足以让习惯了臃肿架构的行业看清,有时候走捷径的收益,比死磕规模大得多。
