一颗27B参数的模型,按标准16位精度算,大概要占54GB空间——比大多数笔记本电脑的整块硬盘还大。PrismML这次说,他们把同一个模型压到了3.9GB,小到能塞进iPhone的内存预算,并宣称这是同类体量模型第一次真正跑上手机。
这个数字够扎眼,但我更想先弄清楚:压缩掉的到底是"冗余",还是"能力"。厂商自己给出的答案是——大部分能力保住了,只是工具调用、指令遵循和视觉理解掉得比数学和代码明显得多。这恰恰是智能体产品最依赖的三项。
三档体积,两种取舍
PrismML这次发布的Bonsai 27B基于Qwen3.6 27B,开出两个版本:
- 三值版(Ternary).每个权重只有−1、0、+1三种取值,配合分组缩放,实际精度1.71 bit,体积5.9GB,官方说笔记本就能带得动,推理、工具调用、多步智能体能力基本保留。
- 1-bit版.权重只剩−1和+1两种取值,精度压到1.125 bit,体积3.9GB,是冲着手机内存预算去的,官方演示用的是iPhone 17 Pro。
两个版本都支持多模态、262K上下文、工具调用和推测解码加速,权重按Apache 2.0协议开放。
体积对比说明一件事:同样是"低比特",1-bit版比市面常见的4-bit量化又小了近5倍。这不是简单地把数字砍一半——PrismML说他们把低比特表示贯穿到语言网络的每一层,嵌入、注意力、MLP、输出头,没有留"高精度逃生舱"。
强的地方真强,弱的地方也藏不住
厂商自测的15项基准里,三值版保住了满血基线95%的综合分数,1-bit版是90%。听起来很稳,但拆开看,曲线并不平:
- 提醒.工具调用、指令遵循、视觉理解——恰恰是端侧智能体最依赖的三样——降幅明显更大,而数学代码这类有标准答案的任务几乎不受影响。
手机上跑的,是完整的27B,还是它的影子
有几件事需要认真对待。
以上所有数字都是PrismML自己测的,目前没有看到第三方复测,"首个手机可跑27B模型"这个说法本质上还是厂商口径。官方公布的iPhone演示视频专门标注了"缓存并预填充图像上下文"——也就是说,这不是完整的实时端侧体验,更像是提前热好身的表演。
最容易被体积数字掩盖的一点是:手机从不会把全部内存交给一个App。一台12GB内存的iPhone,留给应用的大概只有6GB,而这6GB还要跟KV缓存、激活值、系统一起分。3.9GB的模型文件能装进去,不代表262K的上下文能在手机上完整、流畅地跑起来。
麻雀虽小,五脏俱全——这句话搁这儿,得打个问号
体积是小了,但工具调用和指令遵循这两脏,官方自己的数据显示掉得最多,而这两样恰恰决定一个智能体"能不能被信任去干活"。
真正让我觉得这次值得认真看的,不是"能不能装进手机",而是PrismML顺带提出的混合部署思路:高频、敏感的步骤留在本地跑,难啃的任务再扔给云端大模型。这个分工逻辑站得住——本地模型不需要比云端聪明,只需要在它擅长的那部分工作里足够可靠、足够便宜、足够不把用户数据往外传。对隐私敏感型应用和需要大量循环调用的智能体产品来说,这才是体积数字背后真正值钱的部分。
早期计算机占满一间屋子,后来揣进口袋,这条路智能正在重走一遍。但"装得下"从来只是硬件问题的一半,另一半是"能不能被放心地交出决策权"——这一半,厂商自己的基准表已经先露了一点底。