基于多Agent Q学习的RoboCup局部配合策略.pdfVIP

ComputerEngineeringandApplications计算机工程与应用 基于多AgentQ学习的RoboCup局部配合策略 赵发君，李龙澍 ZHAOFajun，LILongshu 安徽大学 计算机科学与技术学院，合肥 230601 SchoolofComputerScienceandEngineering，AnhuiUniversity，Hefei230601，China ZHAOFajlib，LILongshu．RoboCupregionalcooperativestrategybasedonmulti—AgentQ-learning．Computer EngineeringandApplications，2014，50(23)：127-130． Abstract：Becausemanymulti—AgentcooperativeproblemscanhardlybesolvedinRoboCup，thispaperinvestigatesa regionalcooperativemulti—AgentQ-learningmethod．Throughsubdividingthestadium areaandrewardsofagents，the agents’collaborationabilitycanbestrengthened．Asaresult，theteam ’Soffensiveanddefensiveabilitiesareenhanced． Atthesametime，theagentscan spendlesstimelearn ingviarestrictingtheusingrangeofthealgorithm．Consequently, thereal—timeofthegamecanbeensured．Finally，theexperimentontheplatform ofthesimulation2D provesthatthe effectofthismethodismuchbetterthanthatofthepreviousone，anditfullycomplieswiththedesignoftheoriginalgoa1． Keywords：stochasticgame；Q—learning；real—time；regionalcooperation；RoboCupsimulation2D；cooperativestrategy 摘 要：针对RoboCup(RobotWorldCup)中，多Agent之间的配合策略问题 ，采用了一种局部合作的多AgentQ．学 习方法：通过细分球场区域和Agent回报值的方法，加强了Agent之 间的协作能力，从而增强了队伍的进攻和防守能 力。同时通过约束此算法的使用范围，减少了学习所用的时间，确保 了比赛的实时性。最后在仿真2D平台上进行 的实验证明，该方法比以前的效果更好，完全符合初期的设计 目标 关键词 ：随机对策；Q．学习；实时性；局部合作；RoboCup仿真2D；配合策略 文献标志码：A 中图分类号：TP181 doi：10．3778~．issn．1002．8331．1301．0093 1 引言 的方法是：只有带球球员才进行Q．学习获得最优动作 ， RoboCup是近年世界上规模最大的机器人足球大 即在马尔科夫决策环境 中(MDP) ，选择 Q值最大的 赛，包括仿真和实体两类比赛项 目U]oRoboCup仿真2D 动作执行 ，并根据执行动作后的球场评估来更新该动作 是RoboCup最早的项 目，也是软件仿真项 目的重要组成 的Q值 ，不带球球员则使用事先规定好的策略选择动 部分 。是各个研究团体在人工智能和多Agent智能体 作 ，比如 ，跑位 ，铲球等 ，这样并不能很好地与带球球员 协作方面研究的交流平台 。 互相协作 ，更不能对多变的球场状态做出很好的反应。 RoboCup仿真2D的比赛平台是模仿人类足球赛的 本文采用改进的O．学习算法使得不带球球员也可以用 场地和规则制作 出来的。整场比赛分为上下半场 ，各 Q．学习算法得到最优动作来实现多Agent之间的协作， 10min。比赛中以100ms为周期，每个球员为单独的程