How Do Language Models Represent and Use Phonological Information for Allomorph Selection?
语言模型在训练时虽掩盖了单词的语音结构，却能可靠地生成受语音条件制约的词素形式。针对英语不定冠词 a/an，研究证实该语音条件被编码在触发词嵌入的单一线性方向中，且该方向因果驱动了 token 级 wug 测试中的文章选择。模型在预测文章位置时，会预报即将出现的触发词，并利用预报词的语音特征来选择文章。这些结果表明，语言模型具备基于规则进行跨语言及显式语音判断的泛化能力，为语音条件制约的词素选择提供了机制性解释，并将生成时的这种能力与元语言判断区分开来。