arXiv研究改进混合LM记忆利用率

发生了什么

据arXiv论文，循环-注意力混合语言模型虽具备互补记忆路径，但实际过度依赖注意力层。研究指出标准微调无法改善协调性，通过添加限制注意力访问早期上下文的辅助损失，可鼓励模型利用循环状态。该方法在长上下文及信息聚合任务中显著提升性能，且结论适用于多种问答与智能体任务。