Shallow neural network approximation in mixed Sobolev spaces
研究人员在混合 Sobolev 空间中研究了具有 $n$ 个神经元和通用激活函数的浅层神经网络的最好 $L_2$ 逼近。他们建立了与激活函数无关的傅里叶块原理：若激活函数在傅里叶块意义下的单变量逼近阶为 $\rho$，则针对混合光滑度 $\alpha$ 的目标函数，全局逼近率的代数阶为 $\min\{\alpha,\rho\}$（含显式对数因子）。通过引入结构化单变量逼近条件验证具体激活函数，对于 $\mathrm{ReLU}^k$，匹配的下界表明 $\min\{\alpha,k+1\}$ 是任意维度下最优的代数逼近指数。该框架同样得出 $\min\{\alpha,k+1\}$ 对应于基数 B 样元和软-$\mathrm{ReLU}^k$，以及 ELU 和余弦激活函数的全混合光滑度指数 $\alpha$（均含…