DeepSeek在2026年10月20日正式开源了其生产环境使用的大规模推理框架DeepInfer，采用Apache 2.0协议。对于关注开源大模型基础设施的工程师来说，这本该是一场久违的技术解密，但代码库展现出来的条件却极其冷酷：首发版本仅支持离线推理，单一适配DeepSeek-V4.1-Flash模型，运行门槛被锁死在英伟达SM100和华为昇腾950两套顶级算力硬件上。
这不是另一个拿来就能部署的vLLM替代品，而是一座剥离了外围配电网的超级引擎毛坯房。DeepSeek并没有向普通开发者兜售开箱即用的便利，而是把工业级超大规模MoE集群最前沿的执行内核直接端了出来，给整个推理生态立起了一座极高标准的工程样板。
账面惊人的跑分，建立在苛刻的集群边界上
根据官方给出的基准测试，DeepInfer在长文本和极高并发场景下的数据极具冲击力。在4张SM100 GPU上测试Prefill阶段，模型运行在131,072上下文长度与EP4/DP4配置下，当批大小为4,096时，单步延迟为68毫秒，单卡吞吐达60,000 tokens/s；批大小推至65,536时，单卡吞吐飙升至89,000 tokens/s，单步延迟相应增加到730毫秒。
进入生成阶段的测试规模更为夸张。官方Decode跑分动用了64张SM100 GPU，在同样的131,072长上下文、采用nextn=3投机采样且设定75%接受率的条件下：并发请求为8时，单用户生成速度达到惊人的325 tokens/s；并发请求扩展至256时，单用户生成速度降为103 tokens/s，但整组集群的单卡吞吐被压榨到了26,300 tokens/s。
普通读者很容易被这些庞大的吞吐数字震慑，但这里的测试口径存在关键限定。官方图表中Prefill阶段标注的延迟指标为单步延迟，而非终端用户实际感知到的端到端首字延迟。如果把这组测试放进真实网络环境，首字耗时显然会高出这个理论单步值。
同样需要辨清的是投机采样的加速参照系。DeepInfer整合了名为DSpark的投机采样与动态验证方案。根据DeepSeek此前公开的论文数据，DSpark带来的生成速度提升，对比的是DeepSeek自身早期采用的单步投机基线，使得V4-Flash单用户速度提升60%至85%、V4-Pro提升57%至78%。这绝不代表DeepInfer整体跑分比通用的vLLM或SGLang高出如此倍数。
- 提醒.离线测试脚本使用的是固定的合成负载，实际业务中不规则的输入长度和排队波动会拉低上述峰值。
剥离外围调度：没有配电网的超级引擎
代码库建立初期，并未发布正式的Releases标签，系统入口直接定在一个名为offline_inference.py的离线推理脚本上。想要直接拿DeepInfer对外提供生产级API的企业，会遭遇多块缺失的拼图。
DeepSeek在文档中明确列出，构建完整在线服务所需的三大外围模块并未包含在此次开源代码中：独立的KV Cache系统、解离式前置执行与生成服务、以及跨数据并行副本的负载均衡器。
这常引发外界误解，以为开源的代码连基本的显存缓存机制都没有。深入源码便会发现，引擎底层已经包含了KVCache、KVCacheManager、针对滑动窗口注意力（SWA）以及压缩注意力的完备实现。DeepSeek刻意隐去的，是支撑这些计算单元在跨机房、多集群之间进行分布式KV路由、弹性调度与状态同步的企业级云原生控制面。
框架输出的是核心引擎的纯机械结构，进油系统和变速箱依然留在大厂的高墙之内。
它所提供的核心竞争力全部内敛于底层硬件调用。DeepInfer打包了DeepSeek过去一年间陆续开源的核心算子资产，包括FlashMLA、DeepGEMM、DeepEP、TileKernels与DeepSelect，辅以针对TileLang编写的定制算子。在通信编排上，框架同时结合了MoE专家并行负载均衡、注意力数据并行与平衡上下文并行，并借助异步批调度实现CPU调度与设备计算的零开销重叠。
为了保障超大规模生产服务的确定性，DeepInfer还落地了两项硬核特性：批不变性推理让模型在英伟达硬件上不论处于多大批次的组合中，输出的数值结果都保持严苛一致；SWA有界重放则通过仅重放有界后缀，大幅减少了解码器在长序列下的冗余计算负担。
中美算力双轨制下的技术样板照
DeepInfer选择的技术栈与硬件环境，直接隔绝了中小团队的私有化运行可能。要在英伟达硬件上跑通，需要CUDA 13、GCC 13.0及以上版本和Python 3.12环境，明确限定在SM100架构架构之上；而在国内算力侧，它直接对等地接入了华为昇腾950与CANN 9.2开发套件。
这种软硬件的强绑定，一方面说明DeepSeek在底层算子优化上已经走入极致特化的深水区，不再追求向后兼容老旧显卡；另一方面，同时对等支持SM100与昇腾950，清晰展现出其在顶层技术栈上面向中美两套顶级算力生态的双轨布局。
对于vLLM和SGLang等主流通用框架而言，DeepInfer从来不是直接争夺用户的替代者。通用框架追求的是跨模型家族的兼容度、量化格式的普适性以及开箱即用的OpenAI标准接口，而DeepInfer更像是一份由顶级玩家交出的极限工程答卷。接下来开源推理生态最真实的动作，并非直接搬用这套代码跑服务，而是社区工程师会迅速解构其中的TileLang算子实现、SWA有界重放与异步批调度机制，将这些精密的零件拆解并重组回通用推理框架之中。
- 结论.中小团队切忌跟风自建DeepInfer私有集群，将其作为参考设计反哺通用框架才是最务实的工程路径。