从代币到语义：利用互补信号检测黑盒大语言模型中的幻觉现象

针对黑盒大语言模型（LLM）的幻觉检测难题，最新研究提出利用语义熵与基于 Token 的不确定性两种互补信号。该研究扩展了 TopK 方法以聚合采样响应中的 Token 级信号，并提出了结合目标响应不确定性与语义差异的混合 CoCoA 方法，同时引入了 Gated 和 Stacked 两种监督学习策略。在涵盖五个公开基准（含多模态手写支票提取）及两个自建基准（金融摘要与长文本问答）的七项测试中，研究人员使用了四种语言模型进行验证。结果显示，Stacked 方法在约半数情况下表现最佳；TopK 和 CoCoA 在无监督标签下虽具竞争力，但需精细校准阈值。研究进一步分析了不同假阳性率预算（1% 至 15%）下的性能、生成与校准选择的影响以及数据集特征的差异，证实不存在普遍最优的检测方法。