在交易平台 Kite 上拖完几个组件,点一下保存,后端可能要覆盖一整块数 MB 的 JSON。服务约 2000 万客户的 Zerodha 为此开源了 Blobasaur,用 SQLite 存工作区、图表布局和绘图。它已在生产中替换 SSDB。最有意思的地方是,团队保留了 SQLite 每个文件只能同时有一个写入者的规则,靠多开文件把写入并行起来。

旧系统 SSDB 停止维护,只能跑在单机上,Zerodha 一度因为大值写入的延迟,把单个 blob 限在 1 MB。Blobasaur 沿用 Redis 协议,现有 Go 和 Python 服务可以继续用原来的客户端库,数据则能分散到多台机器。Zerodha 公布的一个交易时段里,生产集群各节点的全命令 p99 约 2 ms。不过,集群目前没有自动故障转移,某台机器失联后,它负责的键也不会自动交给别的节点。

SQLite 的写锁还在,每个文件各排各的队

一笔工作区保存请求会经过两次路由。Redis Cluster 的哈希槽决定去哪个节点,节点内的一致性哈希再决定写进哪个 SQLite 文件。每个文件都有自己的写入队列,积攒的请求可以合在一次事务里提交。读请求走只读连接池,原本就能和写入并发。

Zerodha 用同一台 16 核笔记本跑服务和压测客户端,在相同的缓存和读连接预算下,把本机分片从 1 个增至 16 个。测试使用内存文件系统 tmpfs,每次请求携带 64 KiB 的 JSON,压缩后约为原来的九分之一,写入在 SQLite 提交后确认。

负载1 个分片16 个分片
纯写7,740 次/秒,p99 10.7 ms25,324 次/秒,p99 8.3 ms
读写各半14,227 次/秒,p99 10.5 ms29,538 次/秒,p99 8.5 ms
纯读67,128 次/秒,p99 2.1 ms70,884 次/秒,p99 2.3 ms

纯写吞吐升至 3.3 倍,纯读变化很小。这个对照把收益指向了单文件的写入队列。Kite 这套存储有一半流量是写入,解开这条队列比继续优化读取更划算。但真实磁盘上的持续覆盖、行情突发时的热点键,以及数 MB 大值的尾延迟,都要用另一组数据回答。生产的 2 ms 来自一个交易时段,Zerodha 没有同时公布该时段对应的吞吐和载荷分布。

压缩省下了写入量,磁盘多久腾出来是另一笔账

生产环境里,一小时的 HSET 样本平均从 63.6 KiB 压到 5.5 KiB。工作区配置在客户端看来可能很大,落到 SQLite 里却只占少量页面。对这种重复字段多、按键整块读写的 JSON,压缩直接减少了写入日志和主库的数据量。把频繁修改的字段拆成列也可能减少写入,但收益取决于改动是否集中在少数字段上,还得让应用理解原本可以原样存下来的配置。

覆盖一个键,变更页仍要进入 WAL。SQLite 可以复用释放的页,要把主库文件的空间还给操作系统,还得靠 vacuum。长读事务也可能推迟 WAL 截断。我更在意交易高峰过后,磁盘占用能否回落,以及检查点和空间回收会把后续保存请求的尾延迟拉高多少。这两个指标,内存盘压测都量不出来。

收到保存成功之后,那笔编辑到了哪里

同一笔保存有三个不同的时刻。请求进入内存队列,SQLite 提交事务,数据同步到持久存储。客户端在哪一步收到成功,决定了故障时用户可能丢掉哪次编辑。

<svg viewBox='0 0 760 232' width='100%' height='232' role='img' aria-label='工作区保存从请求路由、进入队列、事务提交到同步落盘的四步流程'>
<rect x='1' y='1' width='758' height='230' rx='16' fill='#fbf9f4' stroke='#e2dccf'/>
<text x='28' y='40' fill='#b25a3a' font-size='20' font-weight='700'>一笔保存的写入路径</text>
<line x1='28' y1='58' x2='732' y2='58' stroke='#e2dccf' stroke-width='1'/>
<rect x='28' y='92' width='148' height='70' rx='10' fill='#ffffff' stroke='#e2dccf'/>
<rect x='213' y='92' width='148' height='70' rx='10' fill='#ffffff' stroke='#e2dccf'/>
<rect x='398' y='92' width='148' height='70' rx='10' fill='#ffffff' stroke='#e2dccf'/>
<rect x='583' y='92' width='148' height='70' rx='10' fill='#ffffff' stroke='#e2dccf'/>
<line x1='183' y1='127' x2='200' y2='127' stroke='#b25a3a' stroke-width='2'/>
<polygon points='200,122 207,127 200,132' fill='#b25a3a'/>
<line x1='368' y1='127' x2='385' y2='127' stroke='#b25a3a' stroke-width='2'/>
<polygon points='385,122 392,127 385,132' fill='#b25a3a'/>
<line x1='553' y1='127' x2='570' y2='127' stroke='#b25a3a' stroke-width='2'/>
<polygon points='570,122 577,127 570,132' fill='#b25a3a'/>
<text x='102' y='132' text-anchor='middle' fill='#2c2822' font-size='17' font-weight='700'>请求路由</text>
<text x='287' y='132' text-anchor='middle' fill='#2c2822' font-size='17' font-weight='700'>进入队列</text>
<text x='472' y='132' text-anchor='middle' fill='#2c2822' font-size='17' font-weight='700'>事务提交</text>
<text x='657' y='132' text-anchor='middle' fill='#2c2822' font-size='17' font-weight='700'>同步落盘</text>
<text x='287' y='193' text-anchor='middle' fill='#7a7266' font-size='13'>异步写在此确认</text>
<text x='472' y='193' text-anchor='middle' fill='#7a7266' font-size='13'>关闭异步后在此确认</text>
</svg>

开了异步写,入队即确认。进程如果在提交前退出,用户已经收到成功的编辑也可能随队列丢失。关闭异步写,客户端会等事务提交。即便如此,SQLite 在 synchronous=NORMAL 下也不会每次提交都同步落盘,操作系统崩溃或断电仍可能抹掉近期已确认的写入。

节点失联又是另一种故障。Blobasaur 的槽位静态分配,当前没有在线重平衡或自动故障转移。即使数据已经落盘,节点离线期间,客户端也得等它恢复或等人工接管。若连存储都丢了,能恢复到哪一次保存,要看生产备份。Zerodha 公布的材料没有交代备份方式,也没有给出恢复耗时。

我认同 Zerodha 把这笔账算在工作区上。丢一次图表布局会惹人烦,但不会改动订单或资金记录。别的团队若想沿用这套方案,我更想看一场带着真实覆盖流量的恢复演练:主机断电后,用户还能读回哪一次已确认的保存,受影响的键又要等多久才能重新访问。那两个结果才决定这套设计能接什么活。