Deep Learning as Neural Low-Degree Filtering: A Spectral Theory of Hierarchical Feature Learning
arXiv:2605.13612v2 发布论文《Deep Learning as Neural Low-Degree Filtering》,提出 Neural LoFi 理论框架,将深度学习中层级特征学习定义为显式的迭代谱过程。该理论通过梯度训练极限使各层动力学解耦,预测表示逐层选择与标签最大低度相关方向,并解释概念涌现机制及深度如何通过低度组合性构建新特征。研究辅以全连接和卷积架构的机理实验,证明 Neural LoFi 优于懒随机特征基线,能恢复有意义的结构化滤波器,且其生成的表示与真实数据集上的早期梯度下降特征发现对齐。