生成一段 1,024 个 token 的文本，传统自回归模型得像打字机一样老老实实串行蹦字，而扩散语言模型（DLM）为了并行，往往要在 1,024 的完整序列长度上反复去噪 1,024 步。斯坦福 Hazy Research 团队在 10 月 14 日挂出新论文 Next-Concept Modeling（NCM，arXiv:2610.14162）并开源了代码与权重：他们把采样步数暴力砍到 8 至 32 步，在同等约 100M 参数规模下，实际生成速度比最强扩散语言模型基线快了 10 到 31 倍。
单张 NVIDIA H100 SXM 80GB 显卡、batch size 设为 16 连续生成 1,024 条序列，NCM 测出的端到端挂钟时间优势很扎眼：在 LM1B 基准上比 DUO 快 21 倍且生成困惑度更低；在 XSum 摘要任务上快 31 倍；在硬核的数独（Sudoku）推理任务上，仅靠 12 次函数评估就拿到 86.1% 的准确率，把自回归和扩散基线一起挑落马下。不过先泼盆冷水，这 31 倍加速比的对象是原本就笨重的全序列扩散模型，且实验还停留在 100M 小参数区间，离颠覆带 KV Cache 工程优化的百亿级自回归大模型还隔着几座山。
扩散模型算不快的账，靠由粗到细平了
扩散语言模型一直有个算力死结。它号称能并行生成，但为了保证质量，每一步迭代都必须把完整的目标序列从头到尾算一遍；一旦强行减少采样步数，生成质量就会断崖式下跌，训练时还得把数据集来回咀嚼几十遍（在 LM1B 上对比基线消耗了 66B 训练位置，而 NCM 连分词器带生成器总共只用了 13.36B 训练位置）。
NCM 的解法是从视觉和音频生成里借来了多尺度由粗到细（Coarse-to-Fine）的思路，分两步走：
- 第一步用带有嵌套随机失活（Nested dropout）的多尺度残差 VQ-VAE 充当分词器，把一段文本压缩成金字塔式的离散编码层级，越早的层级编码越短、只管骨架，往后的层级逐步补充残差细节。
- 第二步交给 Transformer 生成器，在跨层级（从粗到细）之间保持自回归，但在同一个层级内部，所有位置的编码一次性全并行预测。
这套机制省算力的账算得很精明。早期层级序列极短，计算成本近乎白送；等到了需要算长序列的精细层，大框架已经定型，同层一步并行就能收工。这也是为什么在需要全局布局的数独 Hard 难度任务上，NCM 能用 12 步击败 16 步的最强扩散基线 FMLM+（81.3%），因为先定盘面骨架再填局部数字，天然契合约束求解的逻辑。
但别被论文标题里的 Concept（概念）一词骗了。作者在正文里坦白得很直接，这些离散编码只是多尺度压缩出来的数学残差表示，并不对应人类可读的语义概念。想在这里找大模型按人类概念思考证据的人，可以散了。
跑分表里的温差，与两阶段训练的暗礁
把论文摘要和正文详表放在一起对账，能看出不少耐人寻味的取舍。摘要里说 NCM 在 OpenWebText 上具竞争力、在 XSum 上匹配最强扩散模型，但翻开具体数据表，速度暴涨其实伴着轻微的指标让步。
| 测试基准 (目标长度) | NCM 采样步数与得分 | 最强扩散基线步数与得分 | 端到端速度对比 |
|---|---|---|---|
| LM1B (128 tokens) | 12 步 / 93.05 PPL | DUO 128 步 / 97.30 PPL | NCM 快 21 倍 |
| OpenWebText (1,024 tokens) | 32 步 / 83.12 PPL | DUO 1,024 步 / 77.69 PPL | NCM 快 10 倍 |
| XSum 摘要 (48 tokens) | 8 步 / 28.0 ROUGE-L | AURORA-LM 128-184 步 / 26.6-28.6 | NCM 快 31 倍 |
| Sudoku 推理 (Hard) | 12 步 / 86.1% 准确率 | FMLM+ 16 步 / 81.3% 准确率 | 少 25% 评估次数 |
在 1,024 长度的 OpenWebText 上，NCM 的生成困惑度是 83.12（越低越好），其实是输给了跑满 1,024 步的 DUO（77.69）；在 XSum 上，NCM 的 28.0 分虽然赢了无引导的 AURORA-LM（26.6），但略逊于跑了 184 步的带引导版本（28.6）。更况且，这里的生成困惑度全靠外部的 GPT-2-large 模型打分配合一元语法熵算出，只能说明句子在老模型眼里够顺滑，没经过真人和事实保真度检验。
我不太买账的是这套叙事避开了房间里真正的大象。今天工业界线上跑的百亿参数自回归模型，武装到了牙齿：KV Cache 免去了历史重算，投机采样（Speculative Decoding）早就实现了草稿并行验证。NCM 在 100M 参数、固定 batch size 16 下把慢吞吞的全序列扩散模型按在地上摩擦，好比蒸汽船跑赢了逆水纤夫，赢得漂亮，但还没上主航道跟内燃机比试。
不过对 NVIDIA H100 这类推理硬件来说，NCM 指出的方向确实诱人。自回归模型逐 token 蹦字，卡在显存带宽（Memory-bound）上，显卡算力大半在空转；而 NCM 在层内把所有位置一次性并行算出，能把负载拉回计算密集型（Compute-bound），让昂贵的张量核心真正吃饱。
《韩非子》里讲，夫物者有所宜，材者有所施。多尺度残差量化在图像（如 VAR 架构）和音频里大杀四方，是因为像素和声波天然连续，砍掉高频细节照样是一张模糊的图；但自然语言是高度离散的人造符号，差一个字可能全句反义。
- 风险.NCM 最脆弱的死穴就在那颗需要先期训练并冻结的多尺度 VQ-VAE 分词器上。
传统大模型用的 BPE 分词器虽然笨，但它只是无损切词，扔进代码、多语种、数学公式里全都能零样本通吃。NCM 的分词器却是一个有损压缩的神经网络，要把整段话压进离散隐空间。在单一数据集上训完分词器再训生成器，100M 参数玩得转；可一旦要放大到 7B 甚至 70B 的通用大模型，这颗冻结的分词器如果跨数据分布就水土不服、漏掉关键逻辑细节，后面的 Transformer 算得再快也是巧妇难为无米之炊。
Hazy Research 团队向来擅长在 Transformer 之外搭新梯子。但 NCM 能不能从一篇漂亮的顶会论文变成下一代基础设施，不看它在 100M 规模下又快了几倍，只看接下来有没有人能训出一个跨领域不掉精度的通用多尺度分词器，并拿着它在 7B 规模上跟带 KV Cache 的自回归模型正面跑一次延迟。