DeepSeek开源推理框架DeepInfer

发生了什么

DeepSeek宣布开源推理框架DeepInfer，旨在提升AI服务效率，降低算力成本和电费。该框架作为服务链路的中间层，负责调度算力集群，其效率直接影响AI服务的性能开销。