一种基于示例轨迹的抽象动作树构造方法.pdf

计 算 机 与 现 代 化 2016年第 6期 JISUANJIYU XIANDAIHUA 总第 250期 文章编号：1006—2475(2016)06-0085-06 一 种基于示例轨迹的抽象动作树构造方法 王 蕾 (苏州卫生职业技术学院，江苏 苏州I215009) 摘要：自动构造抽象动作一直是分层强化学习研究中的关键技术之一。抽 象动作链接算法是 目前连续任务 中自主发现 抽象动作的典型算法，但是抽象动作链接算法需要进行很多次的迭代计算，收敛速度较慢。本文提出一种基于示例轨迹 的抽象动作树构造算法(ACADT)，通过使用一种变点侦测方法，ACADT把每一个轨迹分割成一个抽象动作链。这些从 轨迹中分割得到的抽象动作链随后被合并成一棵抽象动作树。实验表明ACADT可以构造成一棵抽象动作树并能够更 快收敛 。 关键词：分层强化学习；示例轨迹 ；抽象动作 ；自动构造；机 器学习 中图分类号：TP181 文献标识码：A doi：10．3969／j．issn．1006—2475．2016．06．018 AnAbstractActionTreeConstructionAlgorithmBasedonDemonstrationTrajectories WANG Lei (SuzhouHealthCollege，Suzhou215009，China) Abstract：Automaticconstructionofabstractactionisoneofthekeytechnologiesinhierarchicalreinforcementlearning．Skill chainingisatypicalalgorithm forautomaticallydiscoveryabstractactionsincontinuousreinforcementlearningdomains，butthe skillchainingalgorithm needstoiteratemanytimesandtheconvergeneespeedisslow．Thispaperpresentsanabs~actactiontree consturctionalgorithmbasedondemonstrationtrajectories(ACADT)．Byusingachangepointdetectionmethod，ACADTseg- menteachtrajectoryintoachain．Thechainsobtainedfromthemultiplet阳jectoriesaremergedintoanabstractactiontree．Ex— perimentalresultsshowthatACADTcanconsturctanabstractactiontreeandfasterconvergence． Keywords：hierarchicalreinforcementlearning；demonstrationtrajectories；abstractaction；automaticconstruction；machine learning 些高维的需要庞大表示的但是可以拆分成子策略从 0 引 言 而可以简单表示的策略。但是，抽象动作链接的迭代 分层强化学习…通过同时使用低层次的基本动 太费时间：它按序创建抽象动作，然后需要几个情节 作和高层次的抽象动作，从而扩展了一般的强化学 来学习新的抽象动作策略，接下来还要几个情节进行 习 (ReinforcementLearning，RL)，得到了很多具有 试错学习。这种过程对很多问题是