研究发现语言模型Logits几何结构

发生了什么

据arXiv cs.CL论文《The Geometry of Language Model Logits》研究，自回归语言模型的有序词汇头对数（logits）遵循一致的log-linear关系 z_(r) ≈ μ - α log r。训练使斜率α从初始的约0.2升至1.4-1.7，且α与预测性能相关，表明其捕获了超越极值效应的学习结构。这是对该分布假设底层几何结构的首次系统分析。