基于神经网络的批强化学习在Robocup中的应用.pdfVIP

第 l9卷 第 7期 计 算 机 技 术 与发 展 Vo1．19 No．7 2009年 7月 C()MPUTER TECHNOI』X；Y A D DEVFl』)PMENT l1． 2009 基于神经网络的批强化学习在 Robocup中的应用 李龙澍 一，葛瑞峰 ，一，王慧萍 ，2 (1．安徽大学 计算机科学与技术学院，安徽 合肥 230039； 2．安徽大学计算智能与信号处理教育部重点实验室，安徽合肥 230039) 摘 要：模拟机器人足球比赛(RobotWorldCup，RoboCup)作为多智能体系统的一个通用的实验平台．通过它可以来检验 各种理论、算法和框架等，已经成为人工智能的研究热点。针对在复杂条件下的使用传统Q学习方法所产生的收敛速度 缓慢和泛化能力不强的问题，文中使用人工化能力，缩短了学习的时间。并最终将其运用到仿真组比赛的Keepaway模型 中，以此验证了该方法的有效性。 关键词：批Q一学习；神经网络；智能体；机器人足球比赛 中图分类号：TP183 文献标识码 ：A 文章编号：1673—629X(2009)07—0098—04 ApplicationofBatchReinforcementLearningBasedonNN toRobocup LILong．shu ，一，GERui—feng，一，WANG Hui—ping ， (1．SchoolofComputerScienceandTechnology，AnhuiUniversity，Hefei230039，China； 2．MinistryofEducationKeyLab．ofICSPatAnhuiUniversity，Hefei230039，China) Abstract：Asarepresentativeexperimentalplatformofmulti—agentsystem，RoboCup(RobotwolrldCup)bywhichvarioustheories．a1． gorithmsandarchitecturescanbeevaluated，hasbecQ~etheresearchcenterofartificial intellignece．Fortheconvergeslowlyand time consumingproblme sarisedwhenuSingtheclassicQ～learningmethodinocmplicatedenvironment，lineANN torepresenttheQnetand thebatchQlearningtoprocessthetraining datagatherde fromtheenvironment．Bythesetactics，improvde thegeneralizationcapabilityof thesystem，naddecreasedthetimeCOSttolearn．ItWSSapplide totheexperimentoftheKeepawaynxxielsinthesimulationteam whose resultshowsthe validityofthe method． Keywords：batchQ—learning；rleu~ network；agent；RoboCup 0 引 言 传统 Q函数的实现方法主要是利用表格来表示 Q函 Robocup仿真组作为足球机器人比赛 中的一项， 数，通过查表获得最优 Q值 [．2J。当环境的状态集和 无需硬件 ，提供了一个完全分布式控制、实时异步多智 动作集较大时，Q表需要 占用大量的内存空间，而且也 能体的环境 ，很好地模拟了真实的足球机器人比赛环 不具有泛化能力，这一缺点限制它在连续状态的环境 境，从而为多智能体的智能控制和人工智能理论领域