2026年11月9日，谷歌为其第八代AI加速器家族新增了两套系统：面向机密计算的TPU 8tx，以及针对高内存消耗场景的TPU 8i Max。加上此前发布的训练版8t和推理版8i，谷歌首次在一年内拿出了四款TPU系统，外部客户规模已破百家。但要看清这波攻势的成色，得先剥开硬件外壳：谷歌并没有流片新芯片，而是靠改变多芯片封装、替换主机CPU和切换互连网络，把两颗已有硅片拆解重组，用极短的工程周期去堵英伟达B300和Rubin架构的抢滩。
对于正被长上下文和多Agent并发推理账单压得喘不过气的AI基础设施负责人来说，谷歌这次把单机架内存带宽推到了17.2 TB/s的夸张账面，并在两周前开源了原生PyTorch后端TorchTPU。不过，由于TPU v8全系至今未公布云端按需单价，且TorchTPU底层存在动态shape重编译和算子数量限制，算力采购方眼下还算不出真实的单Token成本，更无法把现有CUDA代码零成本搬家。
不流片新硅，靠网络换血与双芯合封快速扩列
过去芯片大厂更新产品线往往以两年为周期等待新硅片流片，谷歌这次把交付周期压缩到了几个月，核心手法是系统级混搭。第八代TPU底层其实只有面向大规模训练的8t和面向推理的8i两款基础芯片，11月9日亮相的两款新品全部由这两颗芯片变形而来。
TPU 8tx本质上是给训练芯片换了一套推理骨架。它直接沿用TPU 8t的底层芯片，但撤掉了8t原本用于大规模训练的3D torus网络，换上专为低延迟推理设计的Boardfly互连网络，并搭配第五代AMD EPYC主机CPU。这套组合拳让企业在内存中不解密数据、不暴露模型权重的前提下，能在同一套系统里完成微调、模型蒸馏和强化学习训练，延迟比基础版8t最高降低两倍。
另一款TPU 8i Max则走的是大力出奇迹的封装路线。面对长视频理解或百万行代码库并发推理时的内存墙，谷歌直接把两颗TPU 8i芯片合封在一个封装体内，塞进同等大小的机架空间。单颗基础版8i原本配备288 GB HBM和8.601 TB/s带宽，合封后的8i Max直接将算力、片上SRAM（翻倍至768 MB）和HBM带宽全部翻倍，隐含内存带宽冲上17,202 GB/s，单位机房面积的吞吐密度随之翻番。
账面追平英伟达B300，但价格与实测仍是盲区
如果把参数拉到同一张桌子上对比，谷歌第八代TPU在硬件规格上确实已经贴到了英伟达主力产品的胸口。但硬件采购看的从来不是孤立的峰值数字，而是除以价格和折损后的真实产出，这恰恰是目前信息最模糊的地带。
| 核心指标 | Google TPU 8i | Google TPU 8i Max | Nvidia B200 | Nvidia B300 |
|---|---|---|---|---|
| 单单元内存容量 | 288 GB HBM | 576 GB HBM (双芯封装) | 180 GB HBM3e | 288 GB HBM |
| 峰值内存带宽 | 8.601 TB/s | 17.202 TB/s (隐含值) | 最高 8 TB/s | 最高 8 TB/s |
| 机密计算损耗 | 8tx 宣称接近于零（无公开细表） | 不适用 | 1% 至 3% (配 Intel TDX) | 1% 至 7.5% (Qwen3.5 实测) |
| 公开按需定价 | 暂未公布 | 暂未公布 | 云商渠道公开报价 | 云商渠道公开报价 |
单看基础版TPU 8i的288 GB内存和8.601 TB/s带宽，账面数据已经与英伟达B300的288 GB内存、8 TB/s带宽平起平坐；合封后的8i Max更是靠双芯堆叠在单封装带宽上压过一头。同时，英伟达今年不得不通过整合Groq团队与技术授权来补强专用低延迟推理短板，说明云厂商自研ASIC在特定推理场景确实撕开了口子。
拿自家上代产品当靶子刷出的性价比，算不出客户账本上的真金白银。
仔细拆解谷歌给出的性能承诺，会发现两处明显的基准错位。谷歌宣称TPU 8i每美元推理性能提升高达80%（相当于同工作量成本下降44.4%），但这个对比的参照物是谷歌自家的第七代芯片Ironwood，而非英伟达的B200或B300。更关键的是，Google Cloud公开价格表至今还停留在第七代Ironwood爱荷华州机房每芯片小时12美元的标价上，TPU v8全系的上市日期与每小时租用单价完全隐身。没有分母，“每美元性能”就只是停留在纸面上的数字游戏。
同样的模糊也出现在政企和金融客户最看重的机密计算上。谷歌声称TPU 8tx开启内存加密后的性能损耗接近于零，但未放出详细的开关对比测试；反观英伟达，不仅记录了Vera Rubin的机架级全路径安全架构，还公开了HGX B300在运行Qwen3.5-397B FP8模型时开启机密计算吞吐量下降1%至7.5%、B200搭配Intel TDX调优后推理开销约1%至3%的实测数据。对于合规严苛的金融机构来说，没有第三方实测验证的“零损耗”很难直接签字入库。
拆掉JAX围墙之后，TorchTPU离平替CUDA还有多远
为了把TPU从内部工具变成对外赚钱的云平台，谷歌在硬件扩列前先动了软件刀子。Alphabet在2026年第三季度财报电话会上披露，TPU已经积累了百余家客户（涵盖云端租用与本地或合作伙伴部署）。要吸引更多习惯PyTorch的外部团队，谷歌在2026年10月20日正式开源了原生PyTorch后端TorchTPU，并为vLLM和SGLang换上了基于PyTorch的新后端，替换掉过去让开发者头疼的JAX底座。目前，Meta已经在生产环境中跑起了SGLang-TorchTPU。
但“跑得通代码”和“榨干硬件性能”之间还隔着一道深沟。翻开TorchTPU的技术论文就会发现，它绝非官方博客里轻描淡写的“只需极小改动即可运行”。
对于没有Meta那种顶级AI Infra团队护航的普通公司，把模型迁往TPU会立刻撞上三堵墙。第一，TorchTPU目前仅支持约450个ATen核心算子，一旦模型里用到超出范围的算子就得自己填坑；第二，动态shape仍是TPU编译器的老痛点，torch.compile在TorchTPU上暂时默认dynamic=False，在线推理中请求长度剧烈波动时会频繁触发重新编译，拖垮响应时间；第三，由于TPU矩阵乘法单元与GPU架构存在本质差异，开发者在英伟达生态里写好的大量Triton高性能内核无法直接移植到TPU上。
- 风险.如果团队缺乏专门做静态shape填充（padding）、张量分片和底层算子调优的编译器工程师，盲目冲着账面带宽将PyTorch生产负载迁往TPU，极易陷入“代码能跑通、吞吐上不去”的窘境。
谷歌用一年四套系统的模块化工程证明，自己有能力在硬件参数上紧咬英伟达B300不放。但决定百余家外部客户会不会变成数千家的，取决于接下来三个尚未落地的具体指标：谷歌何时亮出TPU 8i与8tx的每小时云端底价、InferenceX等独立基准测试何时放出TPU v8对比B300的同台实测单Token成本，以及TorchTPU何时能真正解决动态shape重编译的工程顽疾。