arXiv研究：约束MDP中原初对偶学习参数共振

发生了什么

据arXiv论文，原初对偶方法在慢变非平稳约束马尔可夫决策过程中存在稳定性问题。当约束敏感度振荡时，若原初更新使用的约束估计与对偶更新测量值不匹配，会在两倍自然频率处产生参数共振。该容许失配度随激励带宽平方根增长，随步长比平方根减小。使用同一估计可消除共振但引入固定偏差。