Coarse-Graining Hidden Representations: Unsupervised Neuron Selection via Mapping Entropy
研究提出一种基于映射熵（ME）的无监督神经元选择方法，旨在从过参数化神经网络的隐藏层中筛选出关键单元。该方法通过最小化因丢弃部分网络神经元而导致的区分能力损失来评估候选选择，仅依赖隐藏激活统计信息即可运作。在教师 - 学生网络和翻译增强 MNIST 任务上验证显示，ME 优化能恢复与教师网络一致的最小表示并保留与残差变异性成比例的额外单元；所选子网络在同等大小下表现优于随机子集，尤其在强压缩条件下显著提升了预测性能。