NVIDIA 在 2026 年 10 月 27 日发布的技术博客中披露，通过三项底层软件优化，桌面级 AI 超算 DGX Spark 运行千亿参数混合专家模型（MoE）Ling-3.0-flash-fp4 的生成速度提升了 42.5%，从基线的 37.81 tokens/s 拉升至 53.89 tokens/s。单看吐字速度，优化后的 DGX Spark 依然跑不过同级别的 Apple M4 Max，但这项调优帮 NVIDIA 补上了本地大内存设备的最大一块短板，把竞争拉回了它最擅长的长上下文预填充主场。
如果只看媒体转述的标题，很容易把这次提速误解为服务端高并发吞吐量的突破。翻开 NVIDIA 工程师 Yang Liu 披露的测试底牌就会发现，这 42.5% 的增幅严格限定在 batch size 1（单并发）的本地交互场景下：在跑完整个包含 1,319 道题目的 GSM8K 数学评测集时，每个输出 token 的耗时从 26.45 毫秒压到了 18.56 毫秒，单题平均端到端延迟从 15.21 秒缩减至 11.49 秒（下降 24.5%），而准确率维持在 96.82%，与基线 96.89% 无显著差异。同篇博客虽然还抛出了一个 185.1% 的吞吐暴增数据，但那是在合成负载下跑出的极限值，官方自己也承认无法代表真实任务。
5.1B 激活参数配 15 万大词表，三把手术刀专治访存偏科
为什么这三项优化能从同一块硬件里硬挤出四成以上的速度？答案不在通用算子，而在 InclusionAI 开源的 Ling-3.0-flash 极其特殊的微观架构里。
桌面级统一内存设备跑 MoE 模型，天然处于分裂状态：大容量内存能完整装下百亿级权重，但逐词生成的解码（Decode）阶段在低并发下完全被内存带宽卡死。Ling-3.0-flash 总参数量标称 124B（原始权重存储约 127B），采用 512 个路由专家加 1 个共享专家的设计，每次推理只激活 8 个路由专家；算下来每生成一个 token，非词嵌入的激活参数只有 5.1B。激活参数极小，却配了一个高达 157,184 的超大词表，这导致平时在稠密大模型里不起眼的语言模型输出头（LM Head），突然成了拖慢内存读取的罪魁祸首。
NVIDIA 的三板斧正是顺着这套模型结构下刀的：
- Humming MXFP4 MoE 内核：模型的 42 层注意力由 35 层 Kimi Delta Attention 与 7 层门控 MLA 按 5:1 交替组成，官方
-fp4权重对路由专家采用 MXFP4 格式（纯权重理想容量在 16 位、8 位、4 位下分别约为 248 GB、124 GB 与 62 GB）。定制的 Humming 内核专门针对稀疏路由专家做极低比特读取，虽然从 BF16 压到 FP4 会让 SciCode 代码基准从 41.24 轻微掉到 38.43（GPQA Diamond 从 84.97 变为 83.68，IFBench 从 74.49 变为 73.87），但换来了专家层权重的极速搬运。 - LM Head 在线 FP8 量化：因为稠密层与共享投影仍保留较高的精度格式，15.7 万词表的输出头在每次计算词表概率时都要吞掉大块带宽。将 LM Head 在线转为 FP8，等于直接给这个超大词表砍掉了一半的访存开销。
- NEXTN 多 Token 预测（MTP）投机解码：Ling-3.0-flash 原生内置了 1 层 MTP/NEXTN 投机解码头。单次搬运权重只吐 1 个词太亏，利用原生投机头一次验证多个词，直接把内存带宽的利用率翻了上去。
- 风险.这套 42.5% 的加速配方具有极强的模型与场景依赖性——缺乏原生 MTP 预测头或采用常规小词表的 MoE 模型无法复刻同等红利；同时 SGLang 官方文档明确指出，NEXTN 投机解码仅适用于低延迟交互，在高吞吐算力饱和负载下反而会拖累系统总效率，生产级高并发配方会直接将其关闭。
吐字仍输 Apple M4 Max，但长文本预填充才是 GB10 的杀手锏
把优化后的 53.89 tokens/s 放进桌面级大内存设备的真实横评坐标系里，就能看清 NVIDIA 这次软件冲刺的真正战略意图。
在桌面端百亿参数 MoE 战局中，搭载 GB10 芯片的 DGX Spark（及同芯 OEM 设备）、Apple M4 Max（Mac Studio）与 AMD Ryzen AI Max+ 395（Strix Halo）正形成三足鼎立。物理定律不会因为几个定制算子而改写：单流解码速度归根结底取决于硬件的物理内存带宽。
| 硬件平台 | 120B 级模型解码 (0 上下文) | 64K 长上下文解码 | 32K 上下文首字延迟 (TTFT) |
|---|---|---|---|
| Apple M4 Max (128GB) | 82.7 tokens/s | 53.1 tokens/s | 55.0 秒 |
| NVIDIA GB10 (Dell Pro Max) | 53.9 tokens/s | 35.1 tokens/s | 22.5 秒 |
| AMD Ryzen AI Max+ 395 | 51.3 tokens/s | 33.1 tokens/s | 100.3 秒 |
对比 Tom’s Hardware 在 2026 年 7 月 30 日基于 llama.cpp 发布的独立横评（测试同为百亿级 MoE 的 gpt-oss-120B Q4_K_M，输入 2,048 tokens、输出 256 tokens），Apple M4 Max 的解码速度高达 82.7 tokens/s，而搭载同款 GB10 芯片的 Dell Pro Max 为 53.9 tokens/s，AMD Ryzen AI Max+ 395 为 51.3 tokens/s。甚至在更小的 gpt-oss-20B MXFP4 社区实测中，DGX Spark 的解码速度（86.23 tokens/s）同样落后于 M4 Max（117.83 tokens/s）。可以说，NVIDIA 叠满三项优化后在 124B 模型上跑出的 53.89 tokens/s，依然没有撼动苹果在纯流式吐字上的物理带宽优势。
软件调优没能改写物理带宽排位，却让算力霸权得以变现。
但只盯着吐字速度，就会漏掉桌面 AI 工作站最致命的体验分水岭——预填充（Prefill）阶段的首字延迟（TTFT）。解码拼的是内存带宽，而动辄几万字提示词的预填充拼的是纯正的 GPU 矩阵算力。
在 gpt-oss-20B 的 2,048 词提示词处理（pp2048）实测中，DGX Spark 跑出了 3,797.76 tokens/s，直接把 M4 Max（1,849.79 tokens/s）甩开一倍以上。到了 32,768 上下文深度的 gpt-oss-120B 测试里，差距更是变成了体验鸿沟：GB10 吞完三万多字吐出第一个词只需 22.5 秒，Apple M4 Max 需要让用户干等 55.0 秒，AMD 平台更是长达 100.3 秒。
这才是这 42.5% 提速改变硬件采购天平的真正原因。Ling-3.0-flash 上下文上限高达 262,144 tokens，且默认开启长思考链（thinking）模式。对于手握预算、准备在本地跑代码库 Agent 或长文档分析的开发者来说，如果 DGX Spark 的解码速度停留在 37 tokens/s，预填充省下的半分钟就会在漫长的思考链输出中被慢慢磨平；一旦软件调优把解码推上 53.89 tokens/s 的流畅阅读线，GB10 在长输入预填充上的算力统治力就能转化为端到端总耗时的胜势。
- 建议.经常只做短提示词问答、看重极致流式吐字手感的个人开发者，选购 Apple M4 Max 依然最省心；但如果需要往本地模型里塞入数万行代码跑 Agent 工作流，补齐解码短板后的 DGX Spark 才是综合等待时间最短的机器。接下来值得盯紧的是，NVIDIA 这套 Humming MXFP4 内核与在线 LM Head 量化能否顺利合入 SGLang 与 vLLM 主线，并从 Ling-3.0-flash 泛化到 Qwen、gpt-oss 等更多主流开源 MoE 模型上。