Delta Tokenizer：TTFT降59%的增量分词

发生了什么

据arXiv cs.CL论文，Delta Tokenizer是一种CPU分词前端，仅对同一会话请求与前一次请求之间的增量部分进行分词，保留早期令牌序列。对于无状态长请求，它在多个核心上并行编码文本片段。在SGLang内部测试中，该方法将100K令牌聊天界面的中位首令牌时间（TTFT）降低了59%，并将代理会话的P99 TTFT在负载下降低9.5倍，当长请求占用前端时降低23倍。所有输出均与参考编码器匹配。