实时 AI 消息
Hugging Face模型入驻Microsoft Foundry托管计算平台
微软与Hugging Face联合推出Foundry模型目录中的Hugging Face合集,允许企业将数千个开源模型一键部署到Foundry托管计算集群上。该服务支持NVIDIA A100、H100和AMD MI300X加速器,并通过统一Foundry端点提供OpenAI SDK兼容的推理接口。

微软与Hugging Face于7月7日联合发布了一项重要更新:Hugging Face模型合集正式上线Microsoft Foundry模型目录,允许企业用户在Foundry托管计算(Managed Compute)上部署和运行数千个开源模型。
这一合集的核心理念是打通开源模型生态与企业级部署之间的鸿沟。Hugging Face作为全球最大的开源模型社区,承载了涵盖文本、图像、音频、视频等多模态的丰富模型库,而Microsoft Foundry则提供企业级基础设施——包括身份认证、网络隔离、可观测性、安全扫描和自动补丁更新。
部署流程被简化为五个步骤:从目录中选择模型,选择部署模板(根据延迟优化或吞吐优化、加速器类型、上下文长度和量化方式),配置实例数量,一键部署,然后通过统一的Foundry端点使用OpenAI SDK进行推理。Azure认知服务团队的Manoj Bableshwar和Osi在官方博客中详细介绍了这套流程。
部署模板是本次发布的关键设计。每个模板都预先配置了运行时环境、加速器类型与数量、上下文长度以及针对特定模型的调优参数。以Qwen3-32B为例,它提供了四种模板选项:单卡A100搭配40K上下文、单卡H100搭配40K上下文、双卡A100搭配128K上下文、双卡H100搭配128K上下文,用户无需手动调整复杂运行时参数。
支持的运行时包括vLLM(GPU推理的主力方案)、llama.cpp(面向CPU和小型GPU的GGUF量化模型路径)、TensorRT-LLM和NIM(针对NVIDIA硬件的优化内核与Triton推理服务),以及Hugging Face自家的多模型推理服务器hf-serve(覆盖视觉、音频、分割等非LLM管线)。
目前该服务以预览版形式上线,支持NVIDIA A100、H100和AMD MI300X三类加速器,可在Global和Data Zone范围内部署。每个部署享有Playground支持、Azure Monitor指标、按部署计费标签以及自动运行时升级和CVE补丁。
从行业信号来看,这标志着微软在AI基础设施层面的一个重要布局:通过将Hugging Face的开放生态纳入Foundry企业平台,微软正在推动一种"开源模型+托管基础设施"的新范式。对于企业用户而言,这意味着他们可以在保持数据主权和合规要求的同时,灵活选择最新开源模型。
未来路线图包括更广泛地覆盖Hugging Face生态系统、新增加速器类型,以及支持"自带权重"(BYOW)功能,允许企业将微调模型或专有变体通过相同的模板和治理机制部署。感兴趣的用户可通过forms.cloud.microsoft/r/8Jnx1LALLA注册预览。
为什么重要
此次合作让企业级AI部署的门槛大幅降低——开源模型从社区发现到生产上线不再需要自建基础设施,这也可能加速企业在AI应用中对开源模型的采用。
附近消息
全部07/07 23:00
NVIDIA Vera CPU获AI创新者采纳:为智能体时代打造的全新CPU品类
NVIDIA Vera作为面向智能体AI时代的“大规模最大单线程CPU”新品类,已被包括Perplexity在内的AI创新者采用。该CPU专为AI工厂中的工具调用、代码执行和数据处理优化,提供每核心最强单线程性能,并已公布后续Rosa CPU及Rigel内核路线图。
07/07 23:00
首个AI代理+风险预测模型问世,开启精准糖尿病管理新时代
研究人员发布了首款用于精准糖尿病管理的AI代理与风险预测模型,将AI自主决策能力与个体化风险预测相结合。该系统有望为糖尿病患者提供动态、个性化的治疗建议和早期预警,代表了AI在慢性病管理领域的重要突破。
07/07 22:56
俄罗斯Sber发布开源MoE大模型GigaChat 3.5 Ultra
俄罗斯Sber银行旗下的AI实验室发布了新一代开源MoE(混合专家)大模型GigaChat 3.5 Ultra。该模型采用MoE架构,在保持高性能的同时优化了推理效率,并以开源形式发布供社区使用。
07/07 22:50
报道称DeepSeek自研AI推理芯片,英伟达股价应声下跌近2%
据国际商业时报报道,中国AI公司DeepSeek正在自主开发AI推理芯片。消息传出后,英伟达(NVIDIA)股价一度下跌近2%,反映出市场对AI芯片需求格局可能发生变化的敏感反应。