JointServe解决受限GPU多模型Agent内存调度

发生了什么

据arXiv cs.LG论文，JointServe是为受限GPU设计的多模型Agent服务系统，将权重分片和KV块作为统一内存预算的竞争对象。该系统利用Agent工作负载的结构特性，通过意图信号预取、部分驻留和抢占式传输调度器，减少会话完成时间。评估显示，相比最强全模型交换基线，JointServe将会话完成时间减少21.7%，在SWE-bench等重放轨迹中将SLO达成率提升至76.8-100%。