DeepSeek开源推理引擎DeepInfer

发生了什么

据Latent Space报道，DeepSeek发布了生产级推理引擎DeepInfer，支持NVIDIA与华为昇腾平台，具备分布式推理、投机采样及结构化输出等功能。DeepSeek披露其集群日均吞吐量达155万亿token，输入缓存命中率达96%，并称在特定生产数据下推理毛利率超80%。vLLM团队对此回应称，在GB200匹配配置下，其解码吞吐量与DeepInfer结果差距在6%以内。DeepSeek表示DeepInfer核心引擎已开源，但部分KV缓存管理与负载均衡组件因与内部架构耦合暂未发布。