JetSpec++实现并行草稿生成技术突破

发生了什么

据arXiv cs.CL报道，JetSpec++结合自优化与前向推测，通过算法-系统协同设计优化投机解码。其包含块内自修正、块间前向推测及流水线验证组件。在GB200上单请求可达每秒1,361令牌，相比自回归解码加速最高7.45倍，平均接受长度8.94。