Amazon SageMaker推出前缀感知路由降低LLM延迟

发生了什么

据AWS ML Blog报道，Amazon SageMaker Inference推出前缀感知路由（prefix-aware routing）策略，将相同开头的请求发送至同一实例以复用KV缓存。在Llama 3.1 70B模型的基准测试中，该策略使P50 TTFT最高降低77%，吞吐量最高增加16%，KV缓存命中率从约25%提升至超过80%。测试覆盖单模型端点、推理组件端点及OpenAI兼容API，所有配置均实现100%成功率。