DeepSeek开源DeepInfer引擎

发生了什么

据雷锋网报道，DeepSeek在GitHub开源DeepInfer推理引擎，系DeepSeek-V4.1-Flash背后的引擎，含MoE专家并行、异步Batch调度、定制Kernel和推测解码等技术；单集群日处理约155万亿个Token。报道介绍Zero-Overhead Batch Scheduler、状态修正、KV Cache处理及延迟回收机制，并称目前开放的是离线推理能力，线上KV Cache存储和跨副本负载均衡等组件尚未完整公开。