论文提出KL正则化Q-Learning算法

发生了什么

据arXiv cs.LG论文《Fast Rates for Offline Q-Learning with KL Regularization》显示，研究者提出KL正则化Q-Learning（KLQ）及其变体KLPQ。针对有限视界马尔可夫决策过程的离线Q学习，KLQ实现了$\widetilde{O}(1/ε)$的样本复杂度，无需显式悲观主义。KLPQ通过引入悲观主义去除了对KL正则化参数和视界的指数依赖，建立了表格型有限视界KL正则化MDPs中离线Q学习的首个快速率保证。