郭震 AI公众号:郭震AI

实时 AI 消息

Hugging Face模型入驻Microsoft Foundry托管计算平台

微软与Hugging Face联合推出Foundry模型目录中的Hugging Face合集,允许企业将数千个开源模型一键部署到Foundry托管计算集群上。该服务支持NVIDIA A100、H100和AMD MI300X加速器,并通过统一Foundry端点提供OpenAI SDK兼容的推理接口。

发布时间
Hugging Face模型入驻Microsoft Foundry托管计算平台
图源: huggingface.co

微软与Hugging Face于7月7日联合发布了一项重要更新:Hugging Face模型合集正式上线Microsoft Foundry模型目录,允许企业用户在Foundry托管计算(Managed Compute)上部署和运行数千个开源模型。

这一合集的核心理念是打通开源模型生态与企业级部署之间的鸿沟。Hugging Face作为全球最大的开源模型社区,承载了涵盖文本、图像、音频、视频等多模态的丰富模型库,而Microsoft Foundry则提供企业级基础设施——包括身份认证、网络隔离、可观测性、安全扫描和自动补丁更新。

部署流程被简化为五个步骤:从目录中选择模型,选择部署模板(根据延迟优化或吞吐优化、加速器类型、上下文长度和量化方式),配置实例数量,一键部署,然后通过统一的Foundry端点使用OpenAI SDK进行推理。Azure认知服务团队的Manoj Bableshwar和Osi在官方博客中详细介绍了这套流程。

部署模板是本次发布的关键设计。每个模板都预先配置了运行时环境、加速器类型与数量、上下文长度以及针对特定模型的调优参数。以Qwen3-32B为例,它提供了四种模板选项:单卡A100搭配40K上下文、单卡H100搭配40K上下文、双卡A100搭配128K上下文、双卡H100搭配128K上下文,用户无需手动调整复杂运行时参数。

支持的运行时包括vLLM(GPU推理的主力方案)、llama.cpp(面向CPU和小型GPU的GGUF量化模型路径)、TensorRT-LLM和NIM(针对NVIDIA硬件的优化内核与Triton推理服务),以及Hugging Face自家的多模型推理服务器hf-serve(覆盖视觉、音频、分割等非LLM管线)。

目前该服务以预览版形式上线,支持NVIDIA A100、H100和AMD MI300X三类加速器,可在Global和Data Zone范围内部署。每个部署享有Playground支持、Azure Monitor指标、按部署计费标签以及自动运行时升级和CVE补丁。

从行业信号来看,这标志着微软在AI基础设施层面的一个重要布局:通过将Hugging Face的开放生态纳入Foundry企业平台,微软正在推动一种"开源模型+托管基础设施"的新范式。对于企业用户而言,这意味着他们可以在保持数据主权和合规要求的同时,灵活选择最新开源模型。

未来路线图包括更广泛地覆盖Hugging Face生态系统、新增加速器类型,以及支持"自带权重"(BYOW)功能,允许企业将微调模型或专有变体通过相同的模板和治理机制部署。感兴趣的用户可通过forms.cloud.microsoft/r/8Jnx1LALLA注册预览。

为什么重要

此次合作让企业级AI部署的门槛大幅降低——开源模型从社区发现到生产上线不再需要自建基础设施,这也可能加速企业在AI应用中对开源模型的采用。

微博邮件

Hugging FaceMicrosoftFoundryAzureMLOpsModel Deployment
返回实时消息

附近消息

全部