Controlling and Assessing Appropriate Persona Use in LLM-based Dialogue Generation
针对大语言模型(LLM)在基于角色的对话生成中过度使用角色属性的问题,研究者提出自我对比角色过度抑制方法(SCONPOS)及角色适用性评分指标(PAS)。分析显示,现有 LLM 存在系统性偏差以纳入所有给定角色属性,且现有指标无法捕捉语境适用性。SCONPOS 通过在提示编码阶段直接干预 LLM 内部表示来抑制过度使用,无需响应生成;PAS 则对过度使用和不足使用进行惩罚。实验结果表明,SCONPOS 系统性地减少了过度使用,PAS 有效捕捉了角色使用的语境适用性。