斯坦福与伯克利发布TokenGate

发生了什么

据MarkTechPost报道，斯坦福大学与加州大学伯克利分校的研究人员推出TokenGate，这是一种通过可学习门控与LoRA（r=16）实现长文本预填充加速的模块。该技术通过MLP门控机制对输入Token进行修剪，仅处理关键Token，在Qwen3-1.7B及Qwen3.5-2B模型上测试显示，首字生成时间（TTFT）提升1.4倍至11.3倍，峰值预填充内存降低1.5倍至3.4倍。研究团队指出，该方法在保持精度的同时，优于FastKV等基准模型，且支持在混合注意力模型中应用。相关代码与检查点已在GitHub开源。