研究发现微调前线性知识泛化更强

发生了什么

据arXiv论文，研究区分了支持泛化的“活跃事实”与仅能回忆的“惰性事实”。在11个语言模型和70个关系上测试发现，预训练表示中原始关系的线性可读性强烈预测微调后的泛化能力，皮尔逊相关系数为0.87至0.92。这表明新关系的泛化取决于其共享结构被线性读取的难易程度，而非事实本身的可回忆性。