基于TD(λ)的自然梯度强化学习算法.pdfVIP

第37卷第12期 计算机科学 V01．37No．12 Science Dec2010 2010年12月 Computer 基于TD(A)的自然梯度强化学习算法 陈圣磊1 谷瑞军1 陈耿1薛晖2 (南京审计学院信息科学学院 南京211815)1(东南大学计算机科学与工程学院 南京210096)2 摘要近年来强化学习中的策略梯度方法以其良好的收敛性能吸引了广泛的关注。研究了平均模型中的自然梯度 算法，针对现有算法估计梯度时效率较低的问题，在梯度估计的值函数逼近中采用了TD(A)方法。TD(2)中的资格迹 使学习经验的传播更加高效，从而能够降低梯度估计的方差，提升算法的收敛速度。车杆平衡系统仿真实验验证了所 提算法的有效性。 关键词策略梯度，自然梯度，TDO,)，资格迹 中图法分类号TPl81文献标识码A NaturalGradientReinforcement withTD(Z) LearningAlgorithm CHEN GU CHEN XUEHui2 Sheng-leilRuHunl Gen91 (SchoolofInformation Audit Science，NanjingUniversity，Nanjing211815，Claim)1 (Schoolof Scienceand Computer Engineering，SoutheastUniversity，Nanjing210096，China)z AbstractIn extensiveinterestsin recent methodsarouse reinforcementwithitsexcellent years，policygradient learning were inthis the loweffi- resolve of convergenceproperty．Naturalgradientalgorithmsinvestigatedpaper．To problem when the in wasusedto thevaluefunctions ciency estimating algorithms，TD(A)method gradientpresent approximate when the tracesinTD(A)makethe of IIK)reeffi- estimatinggradient．Theeligibility propagationlearning experience be cient．Asaresult，thevariancein estimationcandecreasedandthe caJlbe