利用潜在内在反馈训练用户模拟器：RL算力减半

发生了什么

据arXiv cs.CL论文，研究引入具有内在反馈的用户模拟器，即配备内部思想、反应和标量评分的模型，从第一人称用户角度评估助手响应。使用真实用户与助手的交互日志训练LLM基础模拟器，结果显示内在反馈提高了模拟现实感和批评行为，提供了现有微调模拟器缺乏的逐轮评估。训练模拟器的评估结果与人类判断的相关性优于同规模的提示模拟器。此外，实验表明，具有内在反馈的模拟器为多轮强化学习（RL）训练提供了有效的奖励信号，在匹配依赖外部裁判LLM奖励的设置的同时，将RL计算量减少了一半以上。