S-EDL方法提出用于大模型语义校准

发生了什么

据arXiv cs.CL发布，S-EDL方法通过序列似然性激发自我证据以实现大模型的语义校准。该方法针对开放式生成中大型语言模型（LLMs）的校准挑战，通过从模型自身的序列似然性中获取证据，构建一个可微分的Dirichlet先验，覆盖特定提示的语义类别。优化该先验下的证据损失，产生对变量语义类别的校准感知训练信号，无需固定的多选项。在四个开放式基准和三个模型上的评估显示，S-EDL显著减少语义校准误差并提高准确率。