SPD: Single Pass Decoding for Generative Reranking
提出 SPD(Single Forward Pass)解码策略,将生成式重排序的推理速度提升 64 倍至 28 毫秒。该策略利用轻量级自注意力头从 LLM 预填充隐藏状态中读取 $N \times K$ 得分矩阵,并通过匈牙利算法直接计算最优二分匹配以输出 $N$ 个序数,实现 $O(1)$ 前向传播。研究通过 LoRA 微调结合自回归蒸馏训练,在保持与教师模型排名质量相当的同时达成该性能。完整消融实验分解了架构、训练信号及骨干适配的贡献,该框架将生成式排名与组合优化连接,为实时排名提供其他 $O(1)$ 解码机制路径。