arXiv研究：Transformer贝叶斯预测行为

发生了什么

据arXiv cs.LG论文，研究分析了在源结构学习中Transformer的贝叶斯预测行为。研究构建了包含最多64个符号的马尔可夫源，其中不同上下文的观测相互影响。主要结果表明，被称为“知情贝叶斯”的预测器能准确预测训练后Transformer的行为，例如预测外部源的损失为2.237位（实测2.309），以及双独立组件变化导致的额外损失增加（预测0.345，实测0.350）。小型Transformer在共享结构可见时匹配知情贝叶斯，而隐藏结构需更多层和训练，最大模型差距低于每token 0.01位。