Yandex研究：分位数损失优于MSE，全局早停存局限

发生了什么

据arXiv cs.LG报道，Yandex研究人员对表格数据深度回归任务的目标函数进行系统重新评估。研究发现，许多提出的目标函数相比正确调优的均方误差（MSE）基线提供有限或不一致的收益，而分位数损失（quantile loss）在测试的多个骨干网络中产生了一致的聚合改进。然而，研究也识别出即使使用强目标函数仍存在局限性：不同噪声水平的区域达到最佳预测性能的训练轮次不同，导致单一的全局早停检查点在不均匀目标分布下产生妥协。为此，研究引入了异方差感知的分位数损失扩展，使用输入依赖的标签平滑作为潜在补救措施。