通过“幻觉空间投影”减少《Whisper》中的幻觉文本

2026 年 9 月 7 日，arXiv cs.AI 发布一项研究，提出一种无需重新训练即可在推理阶段减少 Whisper 模型幻觉的无监督方法。该方法通过低秩投影解码器激活，从非语音校准数据估计紧凑的幻觉相关子空间，并在推理时将解码器隐藏状态投影至该子空间之外。评估显示，始终开启的投影方案将非语音基准的平均幻觉率（HR）从 31.31% 降至 2.44%，相对降幅达 92.21%；而门控方案仅在输入可能为非语音时应用，将 HR 降至 3.74%，相对降幅为 88.05%，且对真实语音的误拒率更低。在 LibriSpeech 数据集上，门控投影使绝对词错误率（WER）增加 0.33-4.39 个百分点，误拒率（FRR）为 0.41--9.97%。结果表明，低秩激活投影可在不重新训练的情况下大幅抑制 Whisp…