华尔街顶级量化巨头 Jane Street 早年差点被一撮装修灰尘搞垮。前系统团队工程师 Michael Bacarella 披露了一段早期往事,在曼哈顿下城 1 New York Plaza 办公楼的 33 层,施工扬尘误触了机房旁的烟雾报警器,直接切断机房空调并往头顶的消防管道充入高压水。机房温度飙升到 143.6 华氏度,距离 150 华氏度(约 65.6 摄氏度)的喷淋头爆裂喷水阈值只差 6.4 华氏度。表面看这是个程序员狂奔回公司拔掉上百个机柜电源线救场的惊险故事,底子里却是普通商业写字楼消防规范与高密度算力散热需求在物理机制上的死锁。

事情发生在 2012 年之前的早期阶段(原文网页标注的 2026 年 11 月 10 日属未来时间戳或笔误)。当时 Bacarella 住在距离办公室步行仅 9 分钟、面积 200 平方英尺的公寓里。一天傍晚他刚要进公寓电梯,接到香港办公室打来的夺命电话,纽约机房的烟感响了。

他狂奔过极具讽刺意味的华尔街水街(Water Street),冲上 33 楼刷卡进屋。里面排着 10 排、每排 10 个机柜的服务器,热得像桑拿房。他用双手一排排拔掉所有设备的电源线,眼睁睁看着温度计停在 143.6 华氏度,保住了这家公司的命脉,次日早晨交易恢复正常。

差 6.4 华氏度灭顶:1 New York Plaza 机房生死线 143.6°F 拔线后室温见顶峰值 距 150°F 喷水仅差 6.4°F 100 机柜 10 排 × 10 列高密算力 塞在 33 层普通写字楼内 9 分钟 工程师公寓到机房步程 香港团队偶然发现异常

没有着火,消防系统为什么非要淹死机房

很多人直觉里觉得,既然只是隔壁准备间施工切东西扬起了灰尘,现场根本没有火源,喷淋头需要高温才会爆开,那机房应该安全才对。

问题出在消防联动的自动化死锁上。当时该机房头顶装的是单联锁预作用系统(Single interlock pre-action)。按美国消防协会 NFPA 的分类,这种管道平时不存水以防漏水,可一旦烟感满足释放逻辑,阀门就会立刻打开,往管道里注满高压水待命。此时只要喷淋头上的热敏塞遇到 150 华氏度高温,大水就会倾泻而下。

那没有火,高温从哪来?答案是消防系统自己造出来的。根据 NFPA 90A 建筑通风标准,特定烟雾探测器触发时必须自动停掉相关风机,防止空气流动助长火势或扩散浓烟。于是,烟感在给水管充水的同时,顺手切掉了机房精密空调(CRAC)的电源。

无火自焚:写字楼消防与高密机房的死锁链条 1. 施工扬尘误报 隔壁房间切割作业 粉尘触发烟雾报警 2. 充水 + 切空调 单联锁管道充高压水 NFPA 90A 联动停制冷 3. 百柜全速自烤 散热中断但算力不停 室温逼近 150°F 阈值 4. 喷淋毁灭临界 热敏塞一旦受热熔断 高压水淹没全部机柜

在普通办公室里,关空调不会怎样。但在塞满 100 个机柜、配有在线式 UPS 和冰箱大小网络交换机的密闭房间里,关掉空调就等于把服务器关进烤箱。服务器自己散出的热量迅速把室温推向 150 华氏度,眼看就要亲手拧开天花板上的高压水龙头。

这里暴露出写字楼改建机房的专业错配。如果采用双联锁预作用系统(Double interlock),仅靠烟感根本不会往管道里充水;而专门针对 IT 机房的 NFPA 75 标准(旧版 §8.4.5),关停空调主要是为了配合气体灭火系统防止药剂流失。把普通办公楼的排烟切空调逻辑直接套在单联锁水消防的高密机房头上,防灾系统瞬间变成了毁灭系统。

  • 风险.企业在普通商业楼宇内自建算力机房时,若直接套用常规楼宇暖通消防联动矩阵,极易在无火误报下触发断冷升温的物理死锁。

核潜艇风控执念与飓风桑迪砸醒的幻觉

一家日进斗金的华尔街量化机构,为什么非要把唯一的核心数据中心塞在普通写字楼里?SEC 文件与前员工 Brett Harrison 披露的信息证实,2010 年前后 Jane Street 的自营交易系统确实就跑在 1 New York Plaza 的 33 层。

当时公司从 10 个人涨到 150 个人,依然拒绝外部专业托管机房。表面理由有两个,一是防间谍偷走服务器破解交易策略,二是防自动化交易系统失控。这种执念很大程度上来自一位曾在核潜艇服役的合伙人。核潜艇上的铁律是,绝不盲信自动化系统,除非旁边有一根涂成红色、纯机械连接的物理拉杆,随时能一把拉断电源。

为保留亲手拔线的控制感,他们把身家性命绑在了写字楼的水管下。

这正是整件事最讽刺的地方。《韩非子》里讲,千丈之堤,以蝼蚁之穴溃。Jane Street 费尽心机防范黑客、商业间谍和失控代码, insists 把机房留在走廊对面以便随时冲进去拔电源线;结果正是这个决定,先把核心算力送进了商业写字楼粗糙的消防陷阱里,最后还真得靠一个程序员跑过去亲手拔电源线才捡回一条命。

更让人后怕的是当时的复盘结论。开完会后,大家觉得氛围很理性,决定保留喷淋系统,继续把服务器放在交易大厅隔壁。香港团队之所以能发现这次危机,纯属有人碰巧在屏幕上瞥见好几台服务器同时报高温,而单台服务器轻微发热根本不会触发警报。事后 Bacarella 只好打开 emacs,用公司最器重的类型安全语言 OCaml 写了个监控脚本,每分钟直接轮询所有 Linux 服务器主板传感器的温度并计算均值,一旦机群整体升温就全员拉响警报。

告别贴身机房:Jane Street 算力基建的成人礼 2010 年前后 33 层写字楼单点机房 烟感误报险酿喷淋灭顶 事后补写 OCaml 均值监控 2012 年 10 月 29 日 飓风桑迪淹没大楼地下室 220 万美元备用发电机报废 手搬服务器赴新泽西建灾备 2013 年起 全面迁入交易所托管 低延迟交易转入 Colocation 终结走廊拔线式作坊风控

代码补丁救得了监控,救不了物理选址的硬伤。真正把 Jane Street 砸醒的是 2012 年 10 月 29 日的飓风桑迪。联邦上诉法院 2014 年 10 月 16 日的文件记录了当时的惨状,海水倒灌进 1 New York Plaza 地下室,直接摧毁了 Jane Street 价值 220 万美元的地下柴油备用发电机。

那场风暴里,工程师们不得不亲手把服务器从曼哈顿大楼里拆下来,搬到新泽西州中部的灾备办公室重建基建,那里后来成了公司第一个真正意义上的全公司级数据中心。到了 2013 年,这家曾经连服务器离开视线都睡不着觉的机构,终于把低延迟交易全面迁入交易所托管中心(Colocation)列为头等大事。

物理贴身控制的幻觉该怎么破

今天回头看这段旧事,它依然像一面镜子,照出很多技术团队在基建演化期的通病。很多初创公司或涉密团队在规模扩张了十倍之后,管理习惯还停留在十个人的作坊时代。

他们总觉得机器放在自己眼皮底下、网线攥在自己手里才叫安全。殊不知当算力密度跨过临界点,最大的威胁早就不是有人溜进来偷硬盘,而是脚下这栋普通写字楼的配电、空调、消防水管根本伺候不了这群吞电吐热的怪兽。

  • 结论.算力基础设施的安全边界不取决于离办公桌有多近,而取决于机电消防的解耦程度与异地多活冗余。

当年 Bacarella 跑过水街、隔着 6.4 华氏度从喷淋头下抢出 100 个机柜的时候,他救下的是一家处于少年期的量化巨头。而一家技术公司真正的成年礼,恰恰是承认靠人跑过去拔电源线救不了命的那一天。