NVIDIA Vera Rubin NVL72 首登 MLPerf Inference v6.1 即取得领先性能

NVIDIA 在官方博客中公布，Vera Rubin NVL72 机架级系统首次参加 MLPerf Inference v6.1 即取得领先性能。MLPerf Inference 是业界用来横向比较 AI 系统服务模型速度与效率的参考基准，因此这一成绩被视为面向采购方的公开信号。

博文把 AI 推理的经济性归纳为三个杠杆。第一个是系统性能：性能越高，生成的 token 就越多，而更多的 token 直接意味着更高的收入。

第二个杠杆是基础设施的高效扩展。NVIDIA 表示，高效扩展意味着增加硬件时吞吐量能够按比例增长，从而在规模化服务用户时占用更少资源；这也是线性扩展的集群与每加一台机器收益递减的集群之间的区别。

第三个杠杆是持续的软件优化，NVIDIA 将其描述为从已经采购的基础设施中产出更多价值。这项工作发生在同一批芯片之上的软件栈中，是三者中最不显眼、却往往见效最快的一环。

之所以值得关注：推理而非训练才是 AI 算力支出增长的主要去向，这一赛道的基准成绩会被云厂商与企业当作下一轮基础设施采购的参考。

对 NVIDIA 而言，这次提交也是一个公开节点，说明 Vera Rubin 这一代平台已经成熟到可以用与其前代相同的基准来衡量。

后续看点包括：这一成绩在之后几轮 MLPerf 中能否保持、扩展效率的说法能否在真实客户部署中得到验证，以及基于该平台的产品何时真正交到客户手中。