小型GPT复现“两跳诅咒”及修复局限

发生了什么

Towards Data Science报道了一项针对小型GPT模型“两跳诅咒”的复现实验。研究显示，模型在分别学习“主体-桥接”与“桥接-答案”两类单跳事实后，无法自动组合回答两跳问题，准确率为0。实验测试了通过添加“桥接实体映射自身”的身份桥修复方案，结果显示该方法虽能短期提升组合推理能力，但随着训练步数增加，准确率出现明显衰减。