智迹闻AuraTracer
EN

EVENT DOSSIER

SPD:单遍解码用于生成式重排序

2026-09-07 12:00 大模型 🔥 42.2 事件热度
1家信源
1天持续发酵
42.2事件热度
1个提及
摘要由 AI 生成

研究团队提出一种名为 SPD(Single Forward Pass)的单步解码策略,旨在解决生成式重排序任务中推理速度慢的问题。该策略利用轻量级自注意力头直接从大型语言模型(LLM)的预填充隐藏状态中提取得分矩阵,并通过匈牙利算法直接计算最优二分匹配,从而在单次前向传播中输出 N 个序数,实现了 O(1) 的时间复杂度。实验表明,该方法结合 LoRA 微调与自回归蒸馏训练,在保持与教师模型排名质量相当的同时,将推理速度从传统方法提升至 28 毫秒(提升 64 倍)。完整的消融实验进一步验证了架构、训练信号及骨干适配对性能的具体贡献。该框架成功将生成式排名与组合优化相结合,为构建其他 O(1) 解码机制以支持实时排名提供了新的技术路径。

相关事件RELATED EVENTS
关键实体KEY ENTITIES
SPD

信号强度SIGNALS

关键词热度
  • SPD1

全部报道(1)SOURCES

A arXiv cs.AI en 2026-09-07 12:00

SPD: Single Pass Decoding for Generative Reranking

提出 SPD(Single Forward Pass)解码策略,将生成式重排序的推理速度提升 64 倍至 28 毫秒。该策略利用轻量级自注意力头从 LLM 预填充隐藏状态中读取 $N \times K$ 得分矩阵,并通过匈牙利算法直接计算最优二分匹配以输出 $N$ 个序数,实现 $O(1)$ 前向传播。研究通过 LoRA 微调结合自回归蒸馏训练,在保持与教师模型排名质量相当的同时达成该性能。完整消融实验分解了架构、训练信号及骨干适配的贡献,该框架将生成式排名与组合优化连接,为实时排名提供其他 $O(1)$ 解码机制路径。