一种基于线性函数逼近的离策略Q(λ)算法.pdfVIP

第37卷第3期 计 算 机 学 报 v01．37No．3 COMPUTERS Mar．2014 2014年3月 CHINESE OF JOURNAL 一种基于线性函数逼近的离策略Q(九)算法 傅启明” 刘 全’2’ 王 辉” 肖 飞” 于 俊” 李 娇 ”(苏州大学计算机科学与技术学院 江苏苏州 215006) 2’(吉林大学符号计算与知识工程教育部重点实验室长春130012) 摘要将函数逼近用于强化学习是目前机器学习领域的一个新的研究热点．针对传统的基于查询表及函数逼近 的Q(A)学习算法在大规模状态空间中收敛速度慢或者无法收敛的问题，提出一种基于线性函数逼近的离策略Q(A) 算法．该算法通过引入重要性关联因子，在迭代次数逐步增长的过程中，使得在策略与离策略相统一，确保算法的 收敛性．同时在保证在策略与离策略的样本数据一致性的前提下，对算法的收敛性给予理论证明．将文中提出的算 略算法相比，具有较好的收敛性；与传统的基于查询表的算法相比，具有更快的收敛速度，且对于状态空间的增长 具有较强的鲁棒性． 关键词强化学习；函数逼近；离策略；Q(A)算法；机器学习 中图法分类号TPl8 DOI号10．3724／SP．J．1016．2013．00677 ANovelOff BasedonLinearFunction PolicyQ(A)Algorithm LIU WANGHuil’XIAOFeil’ YU FU Quanl’t2’ Junl’LIJia01’ Qi—Min91’ 1’(Institute Scienceand 215006) ofComputer Technology，SoochowUniversity，Suzhou，Jiangsu and Education，Jilin 130012) 2’(KeyLaboratoryofSymbolicComputationKnowledgeEngineeringofMinistryof University，Changchun Function isanewresearch in AbstractReinforcement hotpot Learningusing Approximation in allusiontothe of orslow Machine fieldrecent Learning years．In problemnon—convergence on orFunction forthetraditional based convergence Q(J；【)algorithmLookup—Table Approxima— onLinear tionin state anoveloff