动词最利于大模型后训练增益

发生了什么

据arXiv cs.CL研究，大模型后训练中概念增强的效果取决于词性，动词最利于下游增益。研究指出，大模型通常通过next-token预测训练，奖励预测特定词而非语义相似性。概念增强通过替换目标词以概念相关替代词改进性能，但效果是否依赖句子中概念表达的位置尚不明确。研究扩展至动词和形容词，发现概念增强在新闻上提升困惑度最一致，动词提供最可靠的下游增益。尽管行为模式不同，表征分析显示产生最大下游增益的条件未必是改变模型内部表示的条件。研究结果表明，概念增强的有效性取决于概念信息在训练中引入的位置和方式。