谷歌TPU跑Kimi比英伟达GPU快57%：vLLM原班人马用megakernel改写TPU推理

在同样的模型、同样的推理引擎、同样的芯片数量下，换一块芯片能有多大差别？推理创业公司Inferact给出的答案是57%。该公司用16块谷歌TPU v7 Ironwood对阵16块英伟达GB200，两边都跑Kimi K3、都用vLLM推理引擎，唯一的变量是芯片与底层的kernel实现：TPU每秒跑出709个Token，GB200为每秒452个。

做出这个成绩的既不是Kimi的开发方月之暗面，也不是TPU的东家谷歌，而是一家叫Inferact的推理创业公司。其创始团队基本就是vLLM项目的原班人马，今年完成1.5亿美元种子轮融资，a16z与Lightspeed领投，真格、红杉、Altimeter跟投，公司估值8亿美元。

提速的一部分来自DeepSeek提出的DSpark推测解码框架：先让小模型快速猜出一串候选Token，再由大模型批量验证，猜对的直接跳过、猜错的回退重来。Inferact在TPU上跑通这套流程后，接受长度达到6，单步decode耗时约8.5毫秒。

关掉推测解码看裸速，差距依然存在。batch size为1时，TPU每秒249个Token，GB200只有127个；batch size放大到8，TPU达到865个，GB200为636个。在Qwen上差距更大：4块TPU v7跑Qwen 3.8 27B，每秒1515个Token，同配置的GB200只有695个。

更重要的是精度没有损失。Inferact用greedy decoding做了验证，Kimi K3在TPU上的GPQA-Diamond得分94.4%、GSM8K为97.2%，与GPU上的结果完全一致。

这种差距无法从硬件规格表上找到解释：TPU v7的HBM带宽是7380 GB/s，GB200反而更高，达到8000 GB/s。带宽更大的芯片跑得更慢，说明差距来自芯片上面跑的那层软件。

具体做法叫megakernel，核心是把一次推理原本要调度的几百个独立小程序，合并成一个大程序。Kimi K3一共92层MoE计算，被Inferact从头到尾塞进一个Pallas程序里，一次调用走完整个前向传播；第N层还在算MoE时，第N+1层的attention权重已经开始从HBM往片上缓存搬，计算和数据搬运重叠进行。TPU v7每个TensorCore带有64 MiB、完全由软件管理生命周期的VMEM片上内存，为这种跨层编排留出了空间；英伟达Blackwell架构的片上内存分散在152个SM里、总量约38 MiB，且由硬件自动调度。

附带的好处是编译速度：绕开XLA、改用谷歌为TPU做的底层语言Pallas手写之后，编译耗时从30分钟以上降到不到90秒。这套代码已经开源，tpu-megakernels仓库是Inferact与Google Cloud联合工程合作的第一个公开成果，双方的目标是让TPU成为vLLM的一流支持对象，所有优化都会回馈上游开源社区。目前megakernel仍针对Kimi K3的模型结构做定制优化，换一个模型架构还需要重新适配，团队表示接下来会扩展到更多架构。