Transformer条件无毛定理提出

发生了什么

arXiv cs.AI发布论文提出Transformer条件无毛定理，证明语言模型随生成Token增加而遗忘Prompt影响。该定理指出，给定已生成文本，Prompt对下一个Token的影响随生成长度增长而消失，任何幸存的Prompt属性必须由文本本身携带。研究发现训练模型遗忘速度快于未训练模型。