研究揭示视觉 Transformer 转喻电路

发生了什么

arXiv cs.AI 论文《Metonymic Circuits for Abstract Concept Grounding in Vision Transformers》指出，Vision Transformers 通过转喻机制锚定抽象概念。研究假设抽象预测由具体、可解释的锚定概念（如“火”）驱动，从而 bridging 视觉信号到抽象语义。通过在 CLIP 和 DINO 视觉编码器上应用 Transcoders，研究者恢复了可与更具体概念的语义标签关联的中间特征，并追踪了它们在抽象概念识别底层电路中的贡献。实验揭示了结构化的转喻电路，感知原语主导早期层，类对象锚点先于抽象目标。因果干预进一步验证了转喻中间件在锚定抽象概念中的功能作用。