DeepSeek 开源推理引擎 DeepInfer：把服务线上模型的那套底座交了出来

DeepSeek 已在 GitHub 开源 DeepInfer。按项目自述，这是一个面向 DeepSeek 模型的高性能、大规模推理框架，也正是支撑其线上大规模生产服务的推理引擎；此次开放的是离线推理部分及其核心能力。

这次发布的形态值得注意：不是一份模型权重，也不是一篇技术报告，而是可构建、可运行的工程代码。仓库采用 Apache 2.0 许可，附带构建步骤与配置说明，开发者可以按文档自行编译。

从功能清单看，DeepInfer 把力气花在服务侧的硬骨头上。它包含经过优化的算子以及模型与采样运行时，支持注意力侧的数据并行与均衡上下文并行、MoE 的专家并行与 EPLB 负载均衡；异步调度让 CPU 侧的批调度与设备执行重叠，减少空转。

另外几项能力指向结果可复现：批次不变推理让同一请求在不同批次组合下得到一致结果，确定性采样让相同输入与采样参数产生完全相同的输出；结构化输出则允许用正则、JSON Schema 或 EBNF 语法约束生成内容。这些性质在真实业务里往往比跑分更影响可用性。

硬件支持是另一处信号。项目说明同时列出英伟达 GPU 与华为昇腾 NPU 两条路线，意味着这套引擎在设计之初就考虑了国产算力的适配，而不是事后移植。

边界也需要说清楚。官方明确列出本次未包含的部分：KV Cache 系统、Prefill 与 Decode 分离部署，以及跨数据并行副本的负载均衡。想照着仓库直接搭一套完整线上服务还不够，缓存层与调度层仍需自行补齐。

为什么这件事重要？把推理引擎开源，意味着竞争从模型权重延伸到服务成本：谁能用更少的卡跑出同样的吞吐，谁就掌握了定价空间。第三方也第一次有机会复现 DeepSeek 的吞吐与延迟特性，而不是只能看官方口径。

接下来的看点有两个：社区会不会补上 KV Cache 与 PD 分离这两块缺口，以及是否有人把这套框架适配到非 DeepSeek 模型上。如果两者都发生，DeepInfer 就不只是一次交底，而可能长成一个独立的推理基础设施项目。