Hide and Seek：一种无需权重或标注的黑盒视觉模型概念归因新方法

发生了什么

据arXiv cs.LG报道，一篇论文提出了Hide and Seek（HnS），一种新的概念级归因方法，不需要访问模型权重或标记的概念数据集。现有概念基方法只能解释分类和回归模型，需要访问模型权重或大型概念标注数据集，并且大多数方法无法提供图像级归因。HnS可以使用视觉语言模型检索概念对齐的图像，在每个图像中定位概念，屏蔽定位区域，并通过测量黑盒模型在原始图像和屏蔽图像之间输出的变化来进行归因。这通过直接测量模型行为来实现忠实的归因，并支持局部归因。在CelebA和COCO-Stuff上验证了HnS，与现有方法相比，HnS显示出与真实归因更好的一致性。展示了HnS在各种任务中的适用性，包括图像描述和卫星图像分割，在这些任务中没有现有的概念归因方法可以使用。