分层强化学习研究进展1.pdfVIP

第 25卷第 4 期 计 算 机 应 用 研 究 Vol. 25 No. 4 2008年 4 月 　 App lication R esearch of Computers Ap r. 2008 分层强化学习研究进展 彭志平 , 李绍平 (茂名学院 计算机科学与技术系 , 广东 茂名 525000) 摘 　要 : 首先介绍了半马尔可夫决策过程 、分层与抽象等分层强化学习的理论基础 ;其次 ,较全面地比较 HAM 、 op tion s、MAXQ 和 HEXQ 四种典型的学习方法 ,从典型学习方法的拓展 、学习分层 、部分感知马尔可夫决策过程 、 并发和多 agent合作等方面讨论分层强化学习的研究现状 ;最后指出分层强化学习未来的发展方向。 关键词 : 分层强化学习; 半马尔可夫决策过程 ; 抽象 中图分类号 : TP18　　　文献标志码 : A 　　　文章编号 : 100 13695 (2008) 04 0974 05 R e search p rogre ss on h ierarch ical reinforcem ent learn ing PEN G Zh ip ing, L I Shaop ing (D ep t. of Comp u ter S cience Technology, M aom ing Colleg e, M aom ing Guang dong 525000, Ch ina) A b stract: Th is p ap er in troduced the foundation of h ierarch ical reinforcem en t learn ing, such a s sem iM arkov decision p roce ss, h ierarchy and ab straction. Comp ared fou r k ind s of cla ssical h ierarch ical reinforcem ent learn ing m ethod s, includ ing HAM , op tion s, MAXQ and HEXQ. Then discu ssed the state of the art in h ierarch ical reinforcem ent learn ing in term s of extending the cla ssical learn ing m ethod s, au tom ating the con struction of h ierarch ie s, p artially ob servab le M arkov decision p roce ss, concu r rent activitie s to m u ltiagent coord ination. F inally, po in ted ou t som e develop ing direction s of h ierarch ical reinforcem en t lear n ing. Key words: h ierarch ical reinforcem ent learn ing (HRL ) ; sem iM arkov decisio