SAE以分布式组编码词性

发生了什么

据Hugging Face Papers报道，论文《Parts-of-Speech as Emergent Categories in SAE Latent Space》指出，稀疏自编码器（SAE）通过分布式、稳定的潜在特征组而非原子特征来编码词性。研究发现，基于LLaMA-3-8B的SAE激活中，词性区分具有高可恢复性，但不存在一对一映射。仅约13万个中的498个特征即可实现多分类，且开放与封闭类差异显著。该研究由colinglab团队发布，代码和数据已开源。