解析神经网络权重平均的置换对称性

发生了什么

据Towards Data Science分析，深度学习中的置换对称性是导致直接平均模型权重性能下降的根本原因。文章指出，不同随机种子训练出的网络虽收敛至相同损失，但内部神经元列顺序无固定约定。若未对齐列序直接按单元格平均，如同将收入与人数相加，会导致结构破坏。该原理同样解释了模型融合在2026年LLM工程实践中成功或失败的原因。