基于自适应势函数塑造奖赏机制的梯度下降 Sarsa(λ)算法.pdfVIP

第34 卷第1 期 通 信 学 报 Vol.34 No. 1 2013 年1 月 Journal on Communications January 2013 doi:10.3969/j.issn.1000-436x.2013.01.009 基于自适应势函数塑造奖赏机制的梯度下降 Sarsa(λ)算法 1 1,2 1 1 1 肖飞 ，刘全 ，傅启明 ，孙洪坤 ，高龙 （1．苏州大学 计算机科学与技术学院，江苏 苏州 215006 ；2 ．吉林大学 符号计算与知识工程教育部重点实验室，吉林 长春 130012 ） 摘 要：针对连续状态空间下的强化学习算法初始性能差及收敛速度慢的问题，提出利用自适应势函数塑造奖赏 机制来改进强化学习算法。该机制通过额外的奖赏信号自适应地将模型知识传递给学习器，可以有效提高算法的 初始性能及收敛速度。鉴于径向基函数(RBF)网络的优良性能及存在的问题，提出利用自适应归一化RBF(ANRBF) 网络作为势函数来塑造奖赏。基于ANRBF 网络提出了梯度下降(GD)版的强化学习算法——ANRBF-GD-Sarsa(λ) 。 从理论上分析了ANRBF-GD-Sarsa(λ)算法的收敛性，并通过实验验证了ANRBF-GD-Sarsa(λ)算法具有较好的初始 性能及收敛速度。 关键词：强化学习；Sarsa(λ) ；梯度下降；势函数；塑造奖赏 中图分类号：TP181 文献标识码：A 文章编号：1000-436X(2013)01-0077-12 Gradient descent Sarsa(λ) algorithm based on the adaptive potential function shaping reward mechanism 1 1, 2 1 1 1 XIAO Fei , LIU Quan , FU Qi-ming , SUN Hong-kun , GAO Long (1. Institute of Computer Science and Technology, Soochow University, Suzhou 215006, China; 2. Key Laboratory of Symbolic Computation and Knowledge Engineering of Ministry of Education, Jilin University, Changchun 130012, China) Abstract: In the reinforcement leaning tasks with continuous state spaces, the algorithms are usually facing the problems of ill initial performance and low convergence speed. In order to solve these problems, the potential function shaping re- ward mechanism was proposed to improve the reinforcement learning algorithms. This mechanism propagates