arXiv论文提出FluidPD实现SLO感知的LLM预填充-解码解耦弹性服务
发生了什么
据arXiv cs.AI报道，研究人员提出FluidPD系统，旨在解决LLM服务中预填充-解码解耦架构下的短期需求不平衡问题。该系统通过FluidToken和FluidRole机制提供SLO感知的就地弹性，无需额外GPU即可改善服务延迟目标达成率。在生产Azure跟踪工作负载测试中，其整体SLO达成率比静态SGLang提高高达94.6个百分点。
- SLO达成率提升
- 94.6 percentage points
报道与来源
1 篇发布方数量不等于独立核验数量。同稿的多个入口保留在对应报道中。
来源关系与证据边界
按已记录的来源角色展示；连线仅表示原生身份流程确认的同稿入口，不表示独立佐证或跨报道引用。
- 一手材料1 个发布入口