基于概率模型的动态分层强化学习.pdfVIP

第28卷第 11期 控 制 理 论 与 应 用 、b1．28No．11 2011年 11月 ControlTheory Applications NOV．201l 文章编号：1000—8152(2011)11—1595—06 基于概率模型的动态分层强化学习 戴朝晖，袁姣红，吴 敏，陈 鑫 (中南大学信息科学与工程学院，湖南 长沙410083) 摘要：为解决大规模强化学习中的 “维度灾难”问题，克服以往学习算法的性能高度依赖于先验知识的局限性， 本文提出一种基于概率模型的动态分层强化学习方法．首先基于贝叶斯学习对状态转移概率进行建模，建立基于 概率参数的关键状态识别方法，进而通过聚类动态生成若干状态子空间和学习分层结构下的最优策略．仿真结果表 明该算法能显著提高复杂环境下智能体的学习效率，适用于未知环境中的大规模学习． 关键词：动态分层强化学习；贝叶斯学习；状态转移概率模型；智能体 中图分类号：TP273 文献标识码：A Dynamichierarchicalreinforcementlearningbasedon probabilitymodel DAIZhao—hui．YUANJiao—hong．W UM in．CHEN Xin (SchoolofInformationScienceandEngineering，CentralSouthUniversity,ChnagshaHunan410083，China) Abstract：Todealwithhteoverwhelmingdimensionalityinhtelarge--scalereinforcement-·learningandhtestrongdepen-· denceonpriorknowledgeinexistinglearningalgorithms，weproposethemethodofdynamichierrachicalreinforcement learningbasedonhteprobabilitymodel(DHRL—mode1)．Thismehtodidentifiessomekeystatesautomaticallybasedon probabilitypraametersofhtestate—transitionprobabilitymodelestablishedbasedonBayesina learning，htengeneratessome state—subspacesdynamicallybyclustering，andlearnshteoptimalpolicybasedonhierarchicalstructure．Simulationresults show htatDHRL—modelalgorihtm improveshtelearningefficiencyofhteagentremrakablyinhtecomplexenvironment， nadCna beappliedtolearninginhteunknownlarge-scaleworld． Keywords：dynamichierrachicalreinforcement-·learning；Bayesina learning；state--rtansitionprobabilitymodel；agent 1 引言(Introduction) 尔可夫问题．由于在未知环境下学习时，任务层次 强化学习因具有 自学习和在线学习的良好特 结构难 以事先确定，因此需要寻求一种新的对先 性，使其成为机器学习领域的一个重要分支[1]．它 验知识依赖程度很小的动态分层强化学习(dynamic 包括模型无关法和基于模型法2【]．采用模型无