增强型深度确定策略梯度算法Enhanceddeepdeterministicpolicy.PDF

第 39 卷第 11 期 通 信 学 报 Vol.39 No.11 2018 年 11 月 Journal on Communications November 2018 增强型深度确定策略梯度算法 1,2,3,4 1,2,3 5 1,2,3,4 1,2,3,4 1,2,3,4 陈建平 ，何超 ，刘全 ，吴宏杰 ，胡伏原 ，傅启明 （1. 苏州科技大学电子与信息工程学院，江苏 苏州 215009 ；2. 苏州科技大学江苏省建筑智慧节能重点实验室，江苏 苏州 215009 ； 3. 苏州科技大学苏州市移动网络技术与应用重点实验室，江苏 苏州 215009 ； 4. 苏州科技大学苏州市虚拟现实智能交互及应用技术重点实验室，江苏 苏州 215009 ；5. 苏州大学计算机科学与技术学院，江苏 苏州 215006 ） 摘 要：针对深度确定策略梯度算法收敛速率较慢的问题，提出了一种增强型深度确定策略梯度（E-DDPG ）算 法。该算法在深度确定策略梯度算法的基础上，重新构建两个新的样本池—— 多样性样本池和高误差样本池。在 算法执行过程中，训练样本分别从多样性样本池和高误差样本池按比例选取，以兼顾样本多样性以及样本价值信 息，提高样本的利用效率和算法的收敛性能。此外，进一步从理论上证明了利用自模拟度量方法对样本进行相似 性度量的合理性，建立值函数与样本相似性之间的关系。将 E-DDPG 算法以及 DDPG 算法用于经典的 Pendulum 问题和MountainCar 问题，实验结果表明，E-DDPG 具有更好的收敛稳定性，同时具有更快的收敛速率。 关键词：深度强化学习；样本排序；自模拟度量；时间差分误差 中图分类号：TP391 文献标识码：A doi: 10.11959/j.issn.1000−436x.2018238 Enhanced deep deterministic policy gradient algorithm 1,2,3,4 1,2,3 5 1,2,3,4 1,2,3,4 1,2,3,4 CHEN Jianping , HE Chao , LIU Quan , WU Hongjie , HU Fuyuan , FU Qiming 1. Institute of Electronics and Information Engineering, Suzhou University of Science and Technology, Suzhou 215009, China 2. Jiangsu Province Key Laboratory of Intelligent Building Energy Efficiency, Suzhou University of Science and Technology, Suzhou 215009, China 3. Suzhou Key Laboratory of Mobile Networking and Applied Technologies, Suzhou University of Science and Technology, Suz