强化学习规则提升大模型心智推理能力

发生了什么

据arXiv cs.CL论文显示，研究通过强化学习生成感知到动作的if-then规则，提升了大模型的心智理论（ToM）推理能力。研究使用组相对策略优化（GRPO）训练Qwen2.5和Llama3模型，在四个ToM基准测试中表现优于提示、监督微调和思维链推理。此外，由较大模型生成的规则具有可转移性，能改善GPT-4o-mini的下游性能。研究表明显式规则有助于弥合ToM推理差距并支持跨模型知识转移。