随机激活函数切换改善不确定性估计

发生了什么

据arXiv cs.CV研究，通过随机激活函数切换作为轻量级机制，可在无需额外训练成本下改善视觉识别模型的不确定性估计。该方法通过在正向传递中让网络单元在多个非线性激活函数间随机选择，从而在保持中间特征通路活跃的同时诱导预测多样性。研究在分类、语义分割和分布外检测任务中，使用卷积和基于Transformer的架构在多种数据集上评估了该方法，结果显示该方法提升了不确定性质量，同时保持了有竞争力的主要任务性能。