论文提出GraphTok降低TTFT
发生了什么
据arXiv cs.LG 2026年10月9日发布的论文，研究团队提出GraphTok，一种将LLM Tokenization移至GPU运行的技术。该技术通过CUDA图执行完整编码流水线，在vLLM缓存前缀场景下将首字延迟（TTFT）降低2.1-2.4倍。在单请求基准测试中，其速度比gigatoken快2.6-3.9倍，比TokTier快达18.1倍。此外，GraphTok使前端在P99目标内维持的请求吞吐量提升1.75-2.5倍，显著提高了GPU集群的承载能力。
- TTFT降低倍数
- 2.1-2.4倍
- 吞吐量提升倍数
- 1.75-2.5倍
报道与来源
1 篇发布方数量不等于独立核验数量。同稿的多个入口保留在对应报道中。
- arXiv cs.LG一手材料
Taking Tokenization off the Host for Agentic LLM Serving
来源关系与证据边界
按已记录的来源角色展示；连线仅表示原生身份流程确认的同稿入口，不表示独立佐证或跨报道引用。
- 一手材料1 个发布入口