DeepSeek 开源 DeepInfer，把生产环境推理框架交出来

DeepSeek 本周开源了 DeepInfer，这是支撑其大规模生产服务的推理框架。按照官方仓库的说明，本次开源提供的是离线推理版本，覆盖了把模型高效跑起来所需的核心能力。

目前唯一支持的模型是 DeepSeek-V4.1-Flash，也就是近期对外提供服务的旗舰型号。框架以 Apache 2.0 许可发布，代码托管在 GitHub 的 deepseek-ai 组织下，外部团队可以直接构建和修改。

技术清单相当具体：优化过的算子（FlashMLA、DeepGEMM、DeepEP、TileKernels、DeepSelect 以及定制的 TileLang kernel）、注意力 DP 与均衡 CP 的并行策略、MoE 的专家并行加 EPLB 负载均衡，以及 DSpark 与置信度调度的验证解码。

此外还有 SWA 有界重放，用来削减 decoder 预填充的计算量；把 CPU 批调度与设备执行重叠起来的异步调度；保证不同批次组合下结果一致的 batch-invariant 推理；确定性采样；以及按正则、JSON Schema 或 EBNF 语法约束输出的结构化生成。

硬件支持是最有信号的一栏：英伟达 GPU 与华为昇腾 NPU 两条路线都在列。对一个要把单位 token 成本压下去的服务商来说，能同时使用两种算力供给，意味着部署弹性和议价空间。

开源并不等于一套完整可用的服务栈。仓库明确列出本次未包含的三块：KV cache 系统、VE/Prefill/Decode 分离式部署（引擎侧大部分功能已实现），以及数据并行副本之间的负载均衡。换句话说，交出来的是发动机，整车还有零件要自己配。

这与 DeepSeek 一贯的策略一致：把推理层的工程细节放出来，让更多团队能在自己的硬件上跑它的模型，同时把成本曲线往下压。外部报道也普遍把这次发布解读为降低 AI 运行成本、减少算力与能耗的举动。

接下来值得观察的是社区能否补齐缺失的服务组件、昇腾路径的实际成熟度，以及这套框架会不会成为其他厂商模型也能借用的通用推理底座。