《一种结合演示数据和演化优化的强化学习方法》.pdfVIP

ComputerEngineeringandApplications计算机工程与应用 2014，50(11) 115 一 种结合演示数据和演化优化的强化学习方法 宋 拴，俞 扬 SONG Shuan．YUYang 南京大学 计算机软件新技术国家重点实验室，南京 210023 NationalKeyLaboratoryforNovelSoftwareTechnology，NanjingUniversity,Nanjing210023，China SONG Shuan，YU Yang．Reinforcementlearningmethodviacombiningdem onstrationdataandevolutionaryopti— mization．ComputerEngineeringandApplications，2014，50(11)：115-119． Abstract：Reinforcementlearningaimsatlearninganoptimalpolicythatmaximizesthelongterm rewards，from interac— tionswiththeenvironment．Sincetheenvironment~edbackscommonlydelayafterasequencesofactions，reinforcement learninghastotackletheproblem ofsearchinginahugepolicyspace，andthusaneffectivesearchisthekeytoaSuccess approach．Previousstudiesexplorevariouswaystoachieveeffectivesearchmethods，oneeffectivewayisemployingthe evolutionaryalgorithm asthesearchmethod，andanotherdirection isintroducinguserdemonstrationdatatoguidethe search．Inthiswork，itinvestigatesthecombinationofthetwodirections，andproposestheiNEAT+Qapproach，which trainsaneuralnetworkusingthedemonstrationdataaswellasintegratingthedemonstrationdataintothefitnessfunction ofrtheevolutionary algorithm．Preliminary empiricalstudyshowsthatiNEAT+Q issuperiortoNEAT+Q，whichisan classicalevolutionaryreinforcementlearningapproach． Keywords：reinforcementlearn ing；evolutionary algorithm ；learningrfom demonstrations；neuralnetwork 摘 要：强化学习研究智能体如何从与环境的交互中学习最优的策略，以最大化长期奖赏。由于环境反馈 的滞后 性，强化学习问题面临巨大的决策空间，进行有效的搜索是获得成功学习的关键。以往 的研究从多个角度对策略的 搜索进行 了探索，在搜索算法方面，研究结果表明基于演化优化的直接策略搜索方法能够获得优于传统方法的性 能；在引入外部信息方面，通过加入用户提供的演示，可以有效帮助强化学习提高性能。然而，这两种有效方法的结 合却鲜有研究。对用户演示与演化优化的结合进行研究，提 出iNEAT+Q算法，尝试将演示数据通过预训练神经网 络和引导演化优化的适应值函数的方式与演化强化学习方法结合。初步实验表明，iNEAT+Q较不使用演示数据的 演化强化学习方法NEAT+Q有明显的性能改善。 关键词：强化学．-j；演化算法；从演示中学．-j；神经网络 文献标志码：A 中图分类号：TP181 doi：10．3778j／．issn．1002．8331．1305—0393 1 引言 自动控制领域，将强化学习算法用于倒立摆问题 ，取得 强化学习是机器学习的一个重要研究领域，它要解 了优于手动设计传递函数的效果一。此外 ，