郭震 AI公众号:郭震AI

实时 AI 消息

范式智能联合睿思智联开源“模域 ModelSphere”,主打一站式生产级 AI 部署

10 月 16 日,范式智能(股票代码 6682.HK)与北京睿思智联宣布一站式生产级 AI 部署平台“模域”(ModelSphere)上线,面向企业免费开源并已在 GitHub 发布。平台把算力管理、模型部署与运行优化整合到统一流程,官方称极限吞吐较基准提升约 285%、性能约为原来的 4 倍。

发布时间

10 月 16 日,范式智能(股票代码 6682.HK)与北京睿思智联宣布,一站式生产级 AI 部署平台“模域”(ModelSphere)正式上线,面向企业用户免费开源,代码已托管在 GitHub。

据量子位获授权转载的官方介绍,模域把算力管理、模型部署与运行优化收进同一套流程,目标是让企业不必深挖驱动编译和硬件适配,就能把开源大模型接入核心业务系统。

具体能力包括图形化操作面板与预置部署模板、自动弹性扩缩容、PD 分离部署、三级 KV 缓存、高可用负载均衡,以及服务断流后的自动续写,覆盖了生产环境里最耗人力的几项运维工作。

性能层面,平台内置 AutoTune 模型排期策略和结合硬件加速能力的自适应负载均衡。官方称系统极限吞吐较基准提升约 285%,性能约为原来的 4 倍,属于厂商自述数据。

芯片层面,模域融合 EngineX 推理引擎,可统一、混合调度华为昇腾、天数智芯、摩尔线程、海光 DCU 等国产算力资源,用户无需为不同芯片重写底层逻辑代码,这正是异构集群最现实的痛点。

模型适配上,团队称已针对 DeepSeek-V4/V4-Flash、Qwen、Kimi、MiniMax、GLM 等主流模型完成优化,支持模型发布后快速部署并调优到生产环境,缩短从开源权重到线上服务的距离。

与 vLLM、SGLang 的分工被描述为层次不同:推理引擎负责提升单台服务器的计算效率,模域负责集群架构级的纳管和优化,包括负载与缓存感知的请求路由、统一 KV 缓存池、基于服务质量的自动扩缩容、线上数据驱动的自动调参以及运行监控。

平台采用 Apache 2.0 协议开源。对正被异构算力与部署运维成本困扰的企业来说,这是一个可以直接验证的选项;但 285% 与 4 倍这类数字来自厂商自述,实际收益仍取决于具体模型、芯片组合与流量形态,需要独立压测后才能下结论。

为什么重要

国产芯片混合调度加开源许可,降低了企业在异构算力上跑大模型的门槛;真正的考验是第三方在真实业务流量下复现官方性能数字。

微博邮件

ModelSphereOpen SourceAI Infrastructure
返回实时消息

附近消息

全部