卷积神经网络局部性与权重共享研究

发生了什么

据arXiv cs.LG发布的研究，卷积神经网络的局部性与权重共享对其学习动态有重要影响。研究通过教师-学生模型，对比了卷积与局部连接学生在不同空间相关性下的学习轨迹。发现无相关性时，卷积学生学习速度是局部连接学生的P倍。空间相关性存在时，卷积学生误差随相关性增加而增长，而局部连接学生误差则相对较低。当学习率调至训练周期时，局部连接学生在早期表现更优，卷积学生在后期表现更优，两者间存在可分析的转换点。