LookAtMyQuant 把 Inkling-2-Mini 的文本权重压到了 5.38 GB。项目方在 M5 Max 上报告的活动内存是 5.83 GB,视觉塔另有 637 MB 的 BF16 权重。官方建议 Apple Silicon 设备至少配备 32 GB 内存。这几个数字各有口径,谁也不能直接回答手边那台 Mac 最少要多少内存。
更有意思的是,这个小文件版在项目方的数学和代码测试里都赢过 9.14 GB 的 Unsloth 量化版,却在 13 种语言的输出分布上离原模型更远。要是只看答对几道题,很容易把一次有取舍的压缩,读成全面升级。
压掉的是权重字节
Inkling-2-Mini 有 26.4B 总参数。模型卡另列了 3.4B 活跃参数,以及算上循环复用后约 5.4B 的每 token 有效活跃参数。MoE 每次只调用部分专家,但后续 token 可能选中别的专家,模型仍得保存整套权重。循环层反过来,同一份权重存一次,却要用多次。文件变小,不能据此推算每个 token 少做了多少计算。
压缩前的体积也得认准。官方公开权重已经是 NVFP4 和 MXFP8 混合精度,发布材料给出的占用约为 20 GB。项目跑分表则把 18.89 GB 的文本权重列为 BF16 教师基线。两套权重的对应关系和体积统计口径还没对齐,不能把它们当成同一个起点。
数学和代码赢了,多语言保真输了
以下数字来自项目方材料。目前还没锁定对应的 README 提交快照,不能把这张表当成独立复现的结果。
| 版本(文本权重) | GSM8K | HumanEval | 13 语言 KL ↓ |
|---|---|---|---|
| BF16 教师 · 18.89 GB | 147/200 | 66/164 | 0 |
| LookAtMyQuant · 5.38 GB | 134/200 | 60/164 | 0.2871 |
| LookAtMyQuant · 8.87 GB | 148/200 | 58/164 | 0.0571 |
| Unsloth UD-Q2_K_XL · 9.14 GB | 132/200 | 49/164 | 0.0811 |
两类指标问的事不同。数学看答案对不对,代码看能不能通过测试;KL 比的是模型给候选 token 分配的概率离教师有多远。概率变了,最终答案照样可能过关。所以,5.38 GB 版的代码成绩有吸引力,但不能替它担保多语言任务;反过来,KL 变差也不能直接换算成翻译或问答少对几题。8.87 GB 版的代码成绩还少过了两道,没有逐题结果,我不会把这点差距读成稳定的能力变化。
我更看好的是按损失分配位宽这个思路。项目先估计不同部分压缩后会给输出带来多大误差,再在固定体积内分配编码,最后用近端微调补偿损失。同样的字节,花在不同地方,保住的能力并不一样。至于这次的数学和代码成绩有多少来自编码、有多少来自微调,得拆开重测,不能从最终跑分倒推。
真正决定能不能用的是峰值内存
项目方在 M5 Max 上报告 73.2 tok/s 的串行解码速度,以及 125.2 tok/s 的解码中位数。自定义 Metal 内核、可选的 DSpark 草稿模型和不同的任务与上下文都会影响速度。这两个数不能直接拿去和另一台 Mac 上的 MLX 成绩排座次,也不能替代长提示的处理速度。
Hugging Face(huggingface.co)上的模型卡列明,Inkling-2-Mini 最高支持 1,048,576 token 的上下文,但这项规格并未给出 LookAtMyQuant 量化版在低内存配置下的可用上下文上限。
我更想看一条同机实测曲线。固定模型版本和任务,逐步拉长上下文,分别开关图像输入和草稿模型,记录整机统一内存峰值、换页和首 token 延迟。视觉塔原封不动,也得用真实图像跑一遍,才能知道文本权重压缩后答图有没有退步。对低内存 Mac 来说,最有用的数字是自己的任务跑到多长会开始频繁换页。那个拐点还没测清,文件再小,也不足以据此买机器。
