arXiv发布HySPE位置编码方法提升长文本外推
发生了什么
据arXiv cs.CL论文显示，研究者提出双曲辛位置编码（HySPE），通过阻尼对称双重剪切组合实现共形辛收缩，以消除指数表示漂移。在TinyShakespeare数据集上，HySPE-UltraLong在16倍零样本外推（L=4096）时保持4.810的不变困惑度，而RoPE降至131.198。在WikiText-103的51M参数Transformer实验中，HySPE在长度8192处将尾部困惑度降低83.9%，且前向延迟与缓存RoPE相当（RTX 4090上7.21ms）。
- 外推困惑度
- 4.810 (L=4096)
- 尾部困惑度降低
- 83.9%
- 前向延迟
- 7.21 ms
报道与来源
1 篇发布方数量不等于独立核验数量。同稿的多个入口保留在对应报道中。
- arXiv cs.CL一手材料
HySPE: Positional Encoding via Symplectic Dual Shears
来源关系与证据边界
按已记录的来源角色展示；连线仅表示原生身份流程确认的同稿入口，不表示独立佐证或跨报道引用。
- 一手材料1 个发布入口