一篇发在个人博客上的长文，把语言扩散模型这十年的起伏讲了个来回：谷歌DeepMind研究者Sander Dieleman在8月24日发文回顾，continuous diffusion language models（连续扩散语言模型）在2022年短暂爆发后几乎全面被discrete diffusion取代，如今又开始出现复苏迹象。文章本身停在历史综述——它说清了这条路线怎么起来、怎么熄火，却没往下讲清楚：2026年这轮复苏，到底解决了当年那个致命问题，还是只是把问题换了个地方藏起来。
答案没那么乐观。今年出现的CoDAR、ELF、LangFlow、RePlaid几个新系统，确实证明了此前的失败未必是"连续建模文本天生不可行"，更像是目标函数和decoder接口设计出了问题。但RePlaid自己在scaling分析里给出的数字很诚实：即便大幅收窄，连续扩散相较自回归模型仍有约20倍的算力差距。对比2023年那个更早的参照——Plaid-1B当年被测出比自回归基线低效64倍——三年时间差距缩小了三倍多，进步是真的，追平还遥远。
自回归赢在哪，扩散模型想赢回什么
主流LLM都是逐token往下生成，靠teacher forcing把训练过程并行化，这套配方支撑了GPT系列的规模化成功。但它有理论上的软肋：exposure bias（训练时看真实答案、推理时看自己的错误答案，误差会累积），做infilling和约束生成也天然别扭。
扩散模型换了个思路：不逐个生成token，而是从一堆噪声里反着"擦"出整段文本。理论上它能保留渐进式的不确定性，不用过早锁定某个token，还能借用图像视频领域已经很成熟的采样、蒸馏工具箱。这是为什么Dieleman这样的研究者当年觉得放弃连续路线"可能是个错误"——但研究社区还是集体选了discrete diffusion，因为它离自回归更近，做scaling更有把握。
两个真正卡死连续路线的病灶
连续扩散把token映射进一段连续embedding空间，再套用图像领域成熟的高斯加噪去噪。问题出在两处。
第一处是embedding collapse：如果让token的embedding几何和MSE去噪目标一起训练，模型会发现一个"偷懒"办法——把不同token的向量彼此拉近，降低预测方差就能降低loss，代价是不同词的表示越来越难区分。第二处是rounding失效：MSE预测的是多个候选token的均值，这个均值往往哪个候选都不像；再加上decoder在决策边界附近哪怕误差很小,都可能把还原结果错成完全不同的词，独立地对每个位置做最近邻映射还会丢掉上下文信息。这两处病灶合在一起,就是连续扩散语言模型十年没能真正跑起来的核心原因，原文提到的Diffusion-LM、SED、CDCD这些2022年的尝试,基本都栽在这里。
新方法各有各的代价
2026年这批系统,基本是冲着这两个病灶分头下手，但没有一个是免费的。
CoDAR用一个上下文敏感的自回归decoder替换掉逐位置最近邻rounding，token恢复率明显提升——但这个decoder本身要挨个位置串行工作，等于把被扩散模型甩掉的顺序生成,又从后门请回来了。ELF选择把离散化推到扩散轨迹的最后一步，中间全程保持连续状态,验证了"中间步骤不必强制token化"这个此前没人认真测过的假设。RePlaid换了一套似然导出的训练目标加可学习embedding，效果明显但20倍算力差距仍然摆在那。而DeltaFlow的研究进一步戳破了效率神话：ELF这类模型每个去噪步骤都要重复做一遍二次序列混合计算，所谓的并行优势在wall-clock延迟上未必真的兑现。
- 风险.CoDAR式的"用自回归decoder补救弱latent"，本质上是拿并行生成的核心卖点去换token恢复率，这笔交易划不划算,现在还没有定论。
外面对这批新系统的评价也没有统一口径。怀疑派觉得文本本来就是categorical的，高斯噪声和多模态语言目标本来就错位，CoDAR重新引入串行性正说明连续路线绕不开自回归的救场；乐观派仍然看重渐进不确定性和可微引导这些理论优势；比较站得住脚的中间立场是——这从来不是"连续能不能建模语言"的对错题，而是embedding几何、去噪动态和decoder接口三者怎么耦合的系统工程题，早年把embedding层当成一个平凡的桥梁,本身就是误判。
复苏是研究热度的回摆，还是实质突破，现在证据只够支撑前一半
对做扩散模型研究和infilling、约束生成这类应用的团队来说，眼下值得盯的不是"连续扩散又火了"这句话本身，而是几个具体的、还没发生的事：这些系统能不能推到明显更大的规模上验证；有没有人愿意做等参数量、等训练FLOPs的严格对比，而不是笼统地跨架构比较；20倍的算力差距接下来几年能收窄到什么程度。这几件事没发生之前，"复苏"更适合当作一个观察窗口，而不是一个投入信号。