离散数据连续时间策略梯度框架研究

发生了什么

据arXiv cs.LG发布，研究人员开发出基于离散数据的连续时间策略梯度框架与无模型算法，并验证了其收敛性与稳定性。该框架结合了严格的收敛性分析与离散数据学习，建立了性能差异引理，推导了随机化和参数化策略的策略梯度公式，并证明了熵正则化策略流对正则化最优值的指数收敛。为在未知动力学下学习，该框架与PhiBE集成，后者从离散转移数据构建连续时间替代生成器。实验在熵正则化线性二次调节器和非线性轮式机器人上验证了方法在已知和数据驱动动力学下的性能与稳定性。