arXiv提出FastEEP实现MoE服务快速弹性扩展

发生了什么

据arXiv cs.LG论文，研究者提出FastEEP系统，实现MoE服务实例内快速弹性扩展。该系统通过部分复用原则，在不销毁实例的情况下调整专家并行组，相比现有vLLM方法，扩展速度提升4.5至11.7倍。