详解重参数化技巧降低梯度方差

发生了什么

据Towards Data Science文章指出，重参数化技巧通过将随机性移出计算图，使VAE等生成模型可通过标准随机梯度下降进行训练。该方法将期望值的梯度转化为可微分的链式法则导数，从而降低梯度估计的方差，使ELBO目标函数优化成为可能。