一台没有GPU的旧电脑,靠向陌生节点借几千字节的数据,也能跟大模型聊上天——这是开源项目Lumabri这两天放出的可部署原型描述。它不堆GPU集群,赌的是普通CPU和SSD能不能拼成一张跑得动超大MoE模型的P2P推理网络。
真正该盯的不是"人人共享大模型"这句口号。它和老牌P2P推理项目Petals、llama.cpp RPC的分水岭,在于按专家而不是按层拆分——一次转发只送约4KB的激活值,让"扛得住一个专家"就能算作有效供给,而不必扛得住一整层的算力。
字节怎么流动:分清"取"和"送"
Lumabri用纯C写成,依赖同一作者的推理引擎Colibri,目前只在Linux上验证过。serve起两个小程序:tracker只做索引,记录谁持有哪些文件;maintainer负责按需应答字节范围读取。
chat端用一个LD_PRELOAD钩子接管模型目录的几个libc调用,让本地看到的是一份"稀疏镜像"。
公共部分——注意力层、embedding这类不属于MoE的权重——按字节范围现取现存,写进本地镜像,同时按SHA-256存入跨模型CAS,不同checkpoint间重复的字节只下载一次。
MoE专家权重基本不搬家。电脑把计算借给专家所在的节点,换回来的只是一次不到4KB的激活值。这也是为什么第一次提问慢、第二次同类提问快——缺的是缓存命中,不是算力本身。
三条路子,一张表看差异
| Petals / llama.cpp RPC | Lumabri | |
|---|---|---|
| 切分粒度 | 连续transformer层 | MoE专家 |
| 单次跨节点传输 | 中间张量,体量随层宽变化 | 约4KB激活值 |
| 对单节点算力要求 | 每段都要跑得够快 | 只需扛住一个专家 |
| 典型可用硬件 | 通常离不开GPU | 普通CPU也可能有效 |
这张表说明的是门槛变了,不是难度消失了。Lumabri跑起来仍要求Linux、gcc、make,还要单独编译Colibri引擎——"Pure C, no dependencies"指的是不依赖第三方库,不等于装个App就能挂机。
校验挡得住谎话,挡不住合谋
项目文档写得很直白:网络能换的是字节从哪来,换不了的是字节是什么。本地推理和分布式推理跑同一套代码路径,官方说法是输出逐字节一致——这是它敢用抽检做校验的前提,一旦两个节点答案不一致,就是有节点在说谎,程序直接停下。
具体手段是SHA-256分块、Ed25519签名、副本抽检加密传输。这套组合能拦住单个说谎节点,项目自己也写明白了,这些只是"有限准入控制",挡不住多数节点合谋或Sybil式的批量伪身份。
这套故事不新鲜。SETI@home用闲置CPU算外星信号,BitTorrent用闲置带宽分发文件,人类对"闲置资源"这件事从来舍不得放过。SETI@home最后没找到外星人,BitTorrent活下来是因为版权挡不住需求——Lumabri能不能活下来,考的也不是架构有没有漏洞,是有没有人愿意长年挂着机器替陌生人跑专家权重,这是激励问题,不是技术问题。
谁该现在动手
想在Linux上试跑闲置旧机器的开发者,现在就能编译试试,适合当占坑测试,别指望生产可用。
评估分布式算力协作方案的基础设施从业者,更应该先等独立压测和广域网数据,再决定要不要往生产环境接入——眼下能确认的性能数字都来自项目自己的测试脚本和局域网环境,谁跑通的广域网延迟、开放网络能撑多大规模,目前还看不清。
接下来最该盯的是三件事:有没有第三方在真实广域网下复现过延迟数字,恶意节点合谋或Sybil攻击是不是只停在理论层面,以及这套架构能不能撑住比测试用例更大的MoE模型。
分片是巧劲,信任才是硬骨头;字节能验真伪,合谋防不住。