《一种基于线性函数逼近的离策略Q（λ）算法》.pdfVIP

第 37卷 第 3期 计 算 机 学 报 Vo1．37 No．3 2014年 3月 CHINESEjoURNALOFCOMPUTERS M ar．2014 一 种基于线性函数逼近的离策略Q()算法 傅启明” 刘 全” 王 辉” 肖 飞” 于 俊” 李 娇” ”(苏州大学计算机科学与技术学院 江苏 苏州 215006) (吉林大学符号计算与知识工程教育部重点实验室 长春 130012) 摘 要 将 函数逼近用于强化学习是 目前机器学习领域 的一个新 的研究热点．针对传统的基于查询表及函数逼近 的Q()学习算法在大规模状态空间中收敛速度慢或者无法收敛的问题，提出一种基于线性函数逼近的离策略Q() 算法．该算法通过引入重要性关联因子，在迭代次数逐步增长的过程中，使得在策略与离策略相统一，确保算法的 收敛性．同时在保证在策略与离策略的样本数据一致性的前提下，对算法的收敛性给予理论证 明．将文 中提出的算 法用于 Baird反例、Mountain—Car及 Randomwa1k仿真平 台，实验结果表明，该算法与传统的基于函数逼近的离策 略算法相 比，具有较好的收敛性；与传统的基于查询表的算法相 比，具有更快的收敛速度 ，且对于状态空间的增长 具有较强的鲁棒性 ． 关键词 强化学习；函数逼近；离策略；Q(A)算法 ；机器学习 中图法分类号 TP18 DOI号 10．3724／SP．J．1016．2013．00677 ANovelOffPolicyQ()Algorithm BasedonLinearFunctionApproximation FU Qi—Ming LIU Quan’’。 WANG Hui XIAO Fei YU Jun LIJiao (InstituteofComputerScienceandTechnology。SoochowUniversity，Suzhou，Jiangsu 215OO6) (KeyLaboratoryofSymbolicComputationandKnowledgeEngineeringofMinistryofEducation，JilinUniversity，Changchun 130012) Abstract ReinforcementLearningusing FunctionApproximation isanew research hotpotin M achineLearning field in recentyears．In allusion to theproblem ofnon—convergenceorslow convergenceforthetraditionalQ()algorithm basedonLookup—TableorFunctionApproxima— tioninlargestatespace，thepaperproposedanoveloffPolicyQ()algorithm basedonLinear FunctionApproximation，which introducesassociatedimportancefactor，usesassociatedimpor— tancefactortounifytheon—policyandoff-policyonsampledatadistributioniniterationprocess， andassurestheconvergence．Underthepremiseofsampledataconsistency，thepapergavethe proofofthe convergencefor thealgorithm．Using theproposed algorithm onBaird Counter— Example，M ountain-CarandRandom W alk，theresultsshow that，comparedwiththetraditional