随机块坐标下降法在非凸学习中的泛化保证

发生了什么

据arXiv cs.LG报道，研究者建立了随机块坐标下降法（RBCD）在非凸目标函数下的高概率泛化保证。现有分析多关注优化收敛性，而本研究填补了非凸问题泛化行为的理论空白。研究推导了经验风险和总体风险梯度的界限，仅需标准平滑假设。在多项式衰减步长下，通过平衡迭代次数量化了早停对总体梯度最优收敛率的影响。此外，研究还提供了特定结构损失函数的维度无关界限，使其适用于高维问题。