新算法缩小对抗性MDP策略优化视界差距

发生了什么

据arXiv cs.LG论文，研究提出通过正则化Q函数解决在线回合制表格马尔可夫决策过程（MDPs）中对抗性损失与乐队反馈下的策略优化问题。现有策略优化方法的遗憾界限比基于占据度量的算法大H倍。新方法通过联合控制所有状态-动作对的局部更新稳定性，将已知转移的遗憾界限提升至O(sqrt(HS(H+A)T))，未知转移提升至O(HS sqrt(AT))，后者匹配最佳已知界限。