SummaryAI generated
研究人员针对具有 n 个神经元和通用激活函数的浅层神经网络，在混合 Sobolev 空间中研究了其最佳 L2 逼近性能。研究建立了与具体激活函数无关的傅里叶块原理：若激活函数在傅里叶块意义下的单变量逼近阶为 ρ，则针对混合光滑度 α 的目标函数，全局逼近率的代数阶为 min{α, ρ}（含显式对数因子）。通过引入结构化单变量逼近条件验证具体激活函数，对于 ReLU^k，匹配的下界表明 min{α, k+1} 是任意维度下的最优代数逼近指数。该框架同样得出 min{α, k+1} 对应于基数 B 样元和软-ReLU^k，以及 ELU 和余弦激活函数的全混合光滑度指数 α（均含...
Related eventsRELATED EVENTS
Key entitiesKEY ENTITIES
arXiv
SignalsSIGNALS
All reports (1)SOURCES
↗
研究人员在混合 Sobolev 空间中研究了具有 $n$ 个神经元和通用激活函数的浅层神经网络的最好 $L_2$ 逼近。他们建立了与激活函数无关的傅里叶块原理：若激活函数在傅里叶块意义下的单变量逼近阶为 $\rho$，则针对混合光滑度 $\alpha$ 的目标函数，全局逼近率的代数阶为 $\min\{\alpha,\rho\}$（含显式对数因子）。通过引入结构化单变量逼近条件验证具体激活函数，对于 $\mathrm{ReLU}^k$，匹配的下界表明 $\min\{\alpha,k+1\}$ 是任意维度下最优的代数逼近指数。该框架同样得出 $\min\{\alpha,k+1\}$ 对应于基数 B 样元和软-$\mathrm{ReLU}^k$，以及 ELU 和余弦激活函数的全混合光滑度指数 $\alpha$（均含…