Hugging Face 博客公布了一项本地推理实验:一台只有 32GB 统一内存的 MacBook M5,借助 SSD 跑起了约 1800 亿参数的 Qwen3.8-Flash-Next。生成 200 个 token 时,实验版 Transformers 达到 13.9 tok/s,Strata 为 14.8 tok/s,相差约 6%。这给低内存设备多开了一条路。至于能不能把日常编码任务交给它,还得看读完长文档、缓存开始频繁落空之后的表现。 https://huggingface.co/blog/moe-expert-streaming
Transformers 把卸载单位缩小到单个专家
Qwen3.8-Flash-Next 是混合专家模型(MoE)。每一层的路由器从 512 个专家中挑出 10 个参与单个 token 的计算,其余权重仍得有地方存。传统 Transformers 借助 Accelerate 按模块搬运,可能为了用这 10 个专家,把该层整个专家库复制到 GPU。Mac 的 CPU 和 GPU 共用统一内存,把权重挪到 CPU 也腾不出另一块内存。
新方案和 Strata 都让 GPU 优先复用缓存里的专家,只在缓存未命中时从 SSD 读取路由选中的权重。这个模型还有一张 51GB 的 n-gram 嵌入表,实验也把它留在磁盘上,按需读取。通用专家流式加载目前以 Transformers 草案 PR #50717 提供,仍处在概念验证阶段。 https://github.com/huggingface/transformers/pull/50717
<svg viewBox='0 0 760 168' width='100%' height='168' role='img' aria-label='专家读取流程'>
<rect x='1' y='1' width='758' height='166' rx='12' fill='#fbf9f4' stroke='#e2dccf'/>
<text x='32' y='43' font-size='19' font-weight='700' fill='#b25a3a'>专家读取流程</text>
<line x1='32' y1='57' x2='728' y2='57' stroke='#e2dccf'/>
<rect x='32' y='85' width='196' height='48' rx='8' fill='#fbf9f4' stroke='#e2dccf'/>
<rect x='282' y='85' width='196' height='48' rx='8' fill='#fbf9f4' stroke='#e2dccf'/>
<rect x='532' y='85' width='196' height='48' rx='8' fill='#fbf9f4' stroke='#e2dccf'/>
<line x1='239' y1='109' x2='265' y2='109' stroke='#7a7266'/>
<polygon points='265,105 273,109 265,113' fill='#7a7266'/>
<line x1='489' y1='109' x2='515' y2='109' stroke='#7a7266'/>
<polygon points='515,105 523,109 515,113' fill='#7a7266'/>
<text x='130' y='114' text-anchor='middle' font-size='16' fill='#2c2822'>路由选专家</text>
<text x='380' y='114' text-anchor='middle' font-size='16' fill='#2c2822'>缺失才读SSD</text>
<text x='630' y='114' text-anchor='middle' font-size='16' fill='#2c2822'>GPU批量计算</text>
</svg>
短生成差约 6%,长文档拉开差距
同一台 M5 上,处理 4K token 提示词时,Transformers 达到 228 tok/s,Strata 为 220 tok/s。读完 6K token 文档再生成,Transformers 降至 12.4 tok/s,Strata 还有 13.7 tok/s。提示词处理衡量读入材料的速度,生成速度衡量后续吐字,两者在实际交互里对应不同的等待。
优化版 Transformers 用了 Strata 的 IQ3_XXS 专家权重,但两套配置的量化张量、提示词分块和缓存设置仍有差异。实验还优化了 Metal 内核和长文档的 KV 缓存。约 6% 的差距属于这两套完整配置,单独换用专家流式加载能提速多少,还得在统一量化和缓存条件下重测。 https://tarekziade-moe-expert-streaming.static.hf.space/details.html
<svg viewBox='0 0 760 248' width='100%' height='248' role='img' aria-label='短生成和长文档后生成速度对比'>
<rect x='1' y='1' width='758' height='246' rx='12' fill='#fbf9f4' stroke='#e2dccf'/>
<text x='32' y='43' font-size='19' font-weight='700' fill='#b25a3a'>生成速度对比</text>
<text x='728' y='43' text-anchor='end' font-size='13' fill='#7a7266'>tok/s</text>
<line x1='32' y1='57' x2='728' y2='57' stroke='#e2dccf'/>
<text x='32' y='96' font-size='14' fill='#2c2822'>短段·实验版</text>
<text x='32' y='128' font-size='14' fill='#2c2822'>短段·Strata</text>
<text x='32' y='176' font-size='14' fill='#2c2822'>长文后·实验版</text>
<text x='32' y='208' font-size='14' fill='#2c2822'>长文后·Strata</text>
<rect x='196' y='83' width='417' height='16' rx='3' fill='#b25a3a'/>
<rect x='196' y='115' width='444' height='16' rx='3' fill='#e2dccf'/>
<rect x='196' y='163' width='372' height='16' rx='3' fill='#b25a3a'/>
<rect x='196' y='195' width='411' height='16' rx='3' fill='#e2dccf'/>
<text x='625' y='96' font-size='14' fill='#2c2822'>13.9</text>
<text x='652' y='128' font-size='14' fill='#2c2822'>14.8</text>
<text x='580' y='176' font-size='14' fill='#2c2822'>12.4</text>
<text x='619' y='208' font-size='14' fill='#2c2822'>13.7</text>
</svg>
专家能放进内存,就有别的路可走
在单张 24GB A10G 上,作者用 Qwen3.6-35B-A3B 测得 Strata 的 Q8_0 配置为 82–88 tok/s,llama.cpp 同量化为 63–64 tok/s,换成 BF16 则是 35–36 tok/s。vLLM 以 FP8 仅卸载专家时达到 20.1 tok/s,Transformers 加 Accelerate 为 0.16 tok/s。这组结果对应另一款模型和另一套硬件,即使在同一台机器上,量化格式也足以改变成绩。
专家能放进系统内存时,llama.cpp 可以直接在 CPU 计算专家,只跨 PCIe 传激活值,省下反复搬权重的开销。vLLM 从固定在内存中的权重按路由读取,更贴近批量服务。并发请求会触及更多专家,单用户短生成里占优势的热点缓存,在批量服务里要面对不同的访问分布。
连续跑编码任务,先看首 token 和掉速
Strata 社区在 32GB M1 Max 的 Q2_0 配置上报告过 14.7 tok/s 的短生成和 287 tok/s 的 16K 提示词处理,首 token 却等了 56 秒。另一份报告用 RTX 5090 和 RTX 4070 Ti SUPER 搭配 32GB 系统内存,短生成中位数为 186 tok/s,但在 18 小时的智能体任务中,随更多映射到磁盘的专家被访问,速度降至 35–50 tok/s。两组测试的硬件和负载各异,分别暴露了开场等待和持续掉速。 https://github.com/niko1221/strata/issues/2656 https://github.com/niko1221/strata/issues/3791
缓存充裕时会是另一种结果。社区一台改造后配有 64GB HBM 的 CMP 170HX,在 4K–250K 提示词下达到 73–81 tok/s,专家缓存命中率为 98.5%–99.9%。即便如此,250K 场景的首 token 仍等了 96.7 秒。社区还记录过另一项取舍:跳过排名较低、又未驻留的专家,可能改变答案。固定量化格式后,这项设置仍须纳入输出质量评测。 https://github.com/niko1221/strata/issues/5928 https://github.com/niko1221/strata/issues/5136
准备把编码助手迁到笔记本上的开发者,可以拿自己的长文档和多轮修改任务试跑,再决定是否迁移。框架维护者则需要统一权重、缓存容量和冷启动条件,把首 token 时间、持续生成速度、缓存命中率、SSD 物理读取量和输出一致性放进同一份成绩单。
