研究：PBT无法加速模型grokking

发生了什么

据r/MachineLearning报道，一项针对模运算任务的实验显示，基于种群的训练（PBT）无法加速模型grokking过程。实验对比显示，在相同计算量下，固定超参数网格搜索达到95%验证准确率的速度快于PBT。研究指出，PBT在grokking中表现为一种“救援工具”，能够帮助模型逃逸无法产生grokking的超参数死区，而非提升训练速度。