Technical Manual for a Toolkit for Measuring Contextual Individuation in Transformer Language Models
本文档介绍了一套用于测量 Transformer 语言模型中上下文个体化(contextual individuation)的开源工具包。该工具包核心构建于“桥接词”(bridge form)概念之上,即一个在两个或多个不同主题领域中保持形式不变但具有不同含义的单词。文档详细说明了整个流程:包括桥接词的声明式规范、维基百科语料库获取、出现定位、逐层表示提取、模型表示空间中的领域成对轮廓测量以及配对可视化协议。文中阐述了每个设计选择及其旨在避免的方法论失效模式,如过度宽泛类别标签导致的语义污染、轮廓系数的多组偏差、子词分词对齐错位及降维图轴可比性伪影等。该手稿仅作为方法与实施参考,未报告或解释在特定模型或桥接词集上运行工具包的实证结果;工具包源码及相关语料库已归档并单独引用。