研究：激活相邻层归一化影响近似能力

发生了什么

据arXiv cs.LG论文，研究分析了浅层网络中激活相邻层归一化（AN）和预激活归一化（PN）对近似能力的影响。对于AN网络，无界激活范围允许宽度N+1；对于PN网络，仿射参数或一次正齐次性恢复宽度N+1。证明RMSNorm的N+1和LN的N+2是近似的最坏情况界限。