增量式双自然策略梯度的行动者评论家算法actor-criticalgorithmwith.pdfVIP

第 38 卷第 4 期 通 信 学 报 Vol.38 No.4 2017 年 4 月 Journal on Communications April 2017 doi:10.11959/j.issn.1000-436x.2017089 增量式双自然策略梯度的行动者评论家算法 章鹏 1 ，刘全 1,2,3 ，钟珊 1 ，翟建伟 1 ，钱炜晟 1 （1. 苏州大学计算机科学与技术学院，江苏 苏州 215006 ；2. 软件新技术与产业化协同创新中心，江苏 南京 210000 ； 3. 吉林大学符号计算与知识工程教育部重点实验室，吉林 长春 130012 ） 摘 要：针对强化学习中已有连续动作空间算法未能充分考虑最优动作的选取方法和利用动作空间的知识，提出一种 对自然梯度进行改进的行动者评论家算法。该算法采用最大化期望回报作为目标函数，对动作区间上界和下界进行加 权来求最优动作，然后通过线性函数逼近器来近似动作区间上下界的权值，将最优动作求解转换为对双策略参数向量 的求解。为了加快上下界的参数向量学习速率，设计了增量的 Fisher 信息矩阵和动作上下界权值的资格迹，并定义了 双策略梯度的增量式自然行动者评论家算法。为了证明该算法的有效性，将该算法与其他连续动作空间的经典强化学 习算法在 3 个强化学习的经典测试实验中进行比较。实验结果表明，所提算法具有收敛速度快和收敛稳定性好的优点。 关键词：强化学习；自然梯度；行动者评论家；连续空间 中图分类号：TP181 文献标识码：A Actor-critic algorithm with incremental dual natural policy gradient 1 1,2,3 1 1 1 ZHANG Peng , LIU Quan , ZHONG Shan , ZHAI Jian-wei , QIAN Wei-sheng (1. School of Computer Science and Technology, Soochow University, Suzhou 215006, China; 2. Collaborative Innovation Center of Novel Software Technology and Industrialization, Nanjing 210000, China; 3. Key Laboratory of Symbolic Computation and Knowledge Engineering of Ministry of Education, Jilin University, Changchun 130012, China) Abstract: The existed algorithms for continuous action space failed to consider the way of selecting optimal action and utilizing the knowledge of the action space, so an efficient actor-critic algorithm was proposed by improving the natural gradient. The objective of the proposed algorithm was to max