实时 AI 消息
范式智能联合睿思智联开源“模域 ModelSphere”,主打一站式生产级 AI 部署
10 月 16 日,范式智能(股票代码 6682.HK)与北京睿思智联宣布一站式生产级 AI 部署平台“模域”(ModelSphere)上线,面向企业免费开源并已在 GitHub 发布。平台把算力管理、模型部署与运行优化整合到统一流程,官方称极限吞吐较基准提升约 285%、性能约为原来的 4 倍。
10 月 16 日,范式智能(股票代码 6682.HK)与北京睿思智联宣布,一站式生产级 AI 部署平台“模域”(ModelSphere)正式上线,面向企业用户免费开源,代码已托管在 GitHub。
据量子位获授权转载的官方介绍,模域把算力管理、模型部署与运行优化收进同一套流程,目标是让企业不必深挖驱动编译和硬件适配,就能把开源大模型接入核心业务系统。
具体能力包括图形化操作面板与预置部署模板、自动弹性扩缩容、PD 分离部署、三级 KV 缓存、高可用负载均衡,以及服务断流后的自动续写,覆盖了生产环境里最耗人力的几项运维工作。
性能层面,平台内置 AutoTune 模型排期策略和结合硬件加速能力的自适应负载均衡。官方称系统极限吞吐较基准提升约 285%,性能约为原来的 4 倍,属于厂商自述数据。
芯片层面,模域融合 EngineX 推理引擎,可统一、混合调度华为昇腾、天数智芯、摩尔线程、海光 DCU 等国产算力资源,用户无需为不同芯片重写底层逻辑代码,这正是异构集群最现实的痛点。
模型适配上,团队称已针对 DeepSeek-V4/V4-Flash、Qwen、Kimi、MiniMax、GLM 等主流模型完成优化,支持模型发布后快速部署并调优到生产环境,缩短从开源权重到线上服务的距离。
与 vLLM、SGLang 的分工被描述为层次不同:推理引擎负责提升单台服务器的计算效率,模域负责集群架构级的纳管和优化,包括负载与缓存感知的请求路由、统一 KV 缓存池、基于服务质量的自动扩缩容、线上数据驱动的自动调参以及运行监控。
平台采用 Apache 2.0 协议开源。对正被异构算力与部署运维成本困扰的企业来说,这是一个可以直接验证的选项;但 285% 与 4 倍这类数字来自厂商自述,实际收益仍取决于具体模型、芯片组合与流量形态,需要独立压测后才能下结论。
为什么重要
国产芯片混合调度加开源许可,降低了企业在异构算力上跑大模型的门槛;真正的考验是第三方在真实业务流量下复现官方性能数字。
附近消息
全部10/16 14:51
AI智能体创企RapidCanvas获Vertex Ventures领投2900万美元
10月16日,印度媒体报道,位于班加罗尔的AI智能体创业公司RapidCanvas完成2900万美元新一轮融资,由Vertex Ventures东南亚与印度基金领投。公司联合创始人兼首席执行官Rahul Pangam表示,本轮资金将用于扩充其在美国的销售团队和工程运营。
10/16 16:07
网易首个AI原生语音Agent「叭哥说」上线,10万元征集“真需求”
网易上线首个AI原生语音Agent「网易叭哥说」,并同步启动“用户荣誉联创计划”,投入10万元向用户征集产品建议,且不设专业与学历门槛。产品把“说真话”当作卖点,试图用真实使用反馈而非内部设想来定义语音Agent的下一步。
10/16 14:03
字节跳动定制 AI 芯片交易引关注,报道称出资方是英伟达
据 Tech Times 报道,字节跳动正在推进一笔定制 AI 芯片(ASIC)交易,而为这些芯片提供资金的是英伟达。报道的核心看点不在交易本身,而在于美国出口管制原本想要阻止的芯片流向,依然以另一种方式走通了。
10/16 14:00
Aligned 推出 Seller Agent,主打内嵌交易工作台的 AI 智能体
Aligned 发布 Seller Agent,并称其为业界首个内置于交易工作台(deal workspace)的 AI 智能体。这一发布把智能体的落点放在交易推进所在的既有界面里,而不是另开一个需要用户主动切换的对话窗口。