“在概括之前进行通道化：将理解视为一种动态探测方式”

2026 年 9 月 7 日，arXiv 发布了题为《Canalization Before Generalization: Grokking as a Dynamical Probe》的论文。该研究针对过参数神经网络中的"Grokking"现象（即训练拟合与未见样本表现分离），对三个任务施加了短时固定时长的权重衰减（WD）扰动，以测量其对后期泛化时间的影响。研究发现，在预泛化平台期早期，这些影响表现为无序状态；随后则形成稳定的剂量排序：更强的 WD 增加导致更早的泛化，而更弱的 WD 增加则导致更晚的泛化。这种有序性在所有三个任务中均早于可见泛化出现。此外，当测试损失屏障在扰动与基线泛化检查点间坍缩至零时，上述时间效应依然持续存在。作者借用 Waddington 的发育景观类比，将这种日益受限的解选择与持续…