A Systematic Comparison of Multilingual Interpretability Methods Reveals Anisotropy-Driven Failures
一项针对多语言模型可解释性方法的系统性比较研究揭示了由各向异性驱动的失败。研究人员对比了来自五个家族共 21 个基座模型（参数量从 1.25 亿至 140 亿）中的四种共享指标（CKA、ANC、GMM dominance per token 和 ILO），并分析了它们在跨语言迁移任务上的相关性。研究发现，这些指标在量化跨语言共享方面存在差异，且分歧源于表示在嵌入空间中倾向于聚集于狭窄圆锥体的各向异性特性。在所有控制模型大小、家族及任务变异后，仅 ILO 与跨语言迁移的斯皮尔曼相关系数（$\rho = 0.90$）保持显著。因此，建议将 ILO 作为主要的共享指标进行报告，并需同时报告各向异性诊断结果。