小参数Transformer模拟鸟群飞行

发生了什么

据r/MachineLearning帖子，作者训练了一个约414k参数的Transformer模拟12只鸟的群体飞行。该模型在未见片段上预测准确率R²达0.990至0.994，并能泛化至50只鸟。线性探针显示，凝聚力规则在训练前即可读取，对齐规则在第一层注意力后可读，但在第二层仅自注意力时消失。