TokenRouter：高效Token级LLM路由系统

发生了什么

据arXiv及Hugging Face Papers发布的研究，TokenRouter是一个专为Token级大语言模型（LLM）路由设计的推理服务系统。该系统采用“请求中心化编程、模型中心化执行”原则，通过异步子服务器和基于数学吞吐量模型优化的延迟批处理调度器，解决了现有系统在Token级路由中面临的步骤不同步及批处理延迟问题。实验显示，该系统在多种路由算法和工作负载下，解码吞吐量较现有系统提升了2.01至64.15倍。