音频LLM中的音频接地与答案选择追踪

针对音频大语言模型（Audio LLMs）过度依赖文本线索而非音频信息的问题，一项发表于 arXiv 的研究通过实验探究了训练对声学证据使用的影响。研究发现：已训练模型在将音频替换为静音或不相关音频时，绩效下降幅度显著大于预训练模型；声学信息主要在早期至中间层塑造答案选择的表征，而训练过程主要增强中间至晚期层中音频对最终预测的影响；此外，训练期间学习的权重在特定层带中对模型表现影响最大。这些结果从机制上解释了训练如何加强 Audio LLMs 对声学证据的利用。