研究发现Transformer可线性叠加处理双文本流

发生了什么

据Hugging Face Papers报道，研究发现Transformer架构具有内在的线性叠加特性。当输入两个独立文本流的线性组合时，模型输出各自下一个token分布的叠加。通过轻量级微调可恢复线性度，并引入引导解码程序分离叠加输出，实现单次前向传播同时生成两个连贯续篇。研究表明这种线性是Transformer架构属性，随预训练进展可能减弱。