Hugging Face发布vLLM原生速度Transformers建模后端

Hugging Face于7月8日宣布了一项重大性能里程碑：Transformers库的vLLM建模后端现在已与vLLM原生手写实现一样快，在某些架构上甚至更快。这意味着模型作者可以自动利用其Transformers实现获得vLLM的超快速推理能力，无需任何手动移植工作。

这一优化成果经过了严格的基准测试验证。Hugging Face团队使用三款完全不同的Qwen3模型进行了对比测试：单GPU上的4B密集模型、张量并行上的32B密集模型，以及8×H100节点上使用数据和专家并行推理的235B参数FP8混合专家模型。在所有场景下，Transformers后端的吞吐量都达到或超越了原生vLLM实现。

使用Transformers建模后端的方式非常简单：只需要在vLLM命令中添加一个参数——"--model-impl transformers"即可。这个参数与vLLM的各项并行选项完全兼容，因此用户不需要改变任何服务部署配置。

Transformers库已经支持超过450种架构，并且其设计原则是模型实现"自成一体且易于理解"。去年Hugging Face首次将Transformers集成为vLLM的建模后端，允许模型作者在无需任何移植工作的情况下在vLLM中运行Transformers模型。这次的升级让这一集成的性能达到了原生级别。

目前，该功能不支持使用线性注意力机制的模型，但官方表示很快将提供支持。自定义模型代码（托管在Hub仓库中的）可能无法直接使用，因为它们可能没有按照兼容规范编写。

这一进展对整个AI推理基础设施生态具有重要意义。vLLM凭借连续批处理和自定义注意力内核等优化技术已成为业界最流行的高性能推理引擎之一，而Transformers是大多数人首次接触和实现新模型的首选框架。两者的无缝高性能结合将大幅降低从模型研究到生产部署的转化成本。