arXiv提出Continuum Attention优化Transformer
发生了什么
据arXiv论文，研究团队引入Continuum Attention (CA)，用连续积分替代离散查找以优化Transformer注意力。该算子通过指数相关密度和插值计算精确归一化注意力，支持并行GPU实现。实验显示，CA在验证集上比Softmax和Focal Attention分别降低0.0200和0.0480 nats/byte的负对数似然率，具有统计显著优势。
- NLL降低幅度(对比Softmax)
- 0.0200 nats/byte
- NLL降低幅度(对比Focal)
- 0.0480 nats/byte
报道与来源
1 篇发布方数量不等于独立核验数量。同稿的多个入口保留在对应报道中。
- arXiv cs.LG一手材料
Continuum Attention
来源关系与证据边界
按已记录的来源角色展示；连线仅表示原生身份流程确认的同稿入口，不表示独立佐证或跨报道引用。
- 一手材料1 个发布入口