arXiv提出随机动量传输算法

发生了什么

据arXiv cs.LG论文《Randomized Momentum Transport with Cheap Predictors》报道，研究提出随机动量传输算法，以概率q评估校正并使用廉价预测替代部分梯度校正。在Oracle成本相近情况下，查询四分之一的校正可将MNIST1D最终训练损失降低18至43%，并将CIFAR-10上Hessian-vector transport的测试准确率提高1.5个百分点。