RoboCup 2D仿真球员射门技能中智能算法应用综述.doc

RoboCup 2D仿真球员射门技能中智能算法应用综述【摘要】在Robocup仿真比赛中，Agent的动作技能是仿真足球比赛的基础。本文详细分析了robocup 2D机器人足球仿真中射门技能存在的问题，论述了智能算法在机器人足球2D仿真球员射门技能中的应用，并提出了进一步的研究方案。 【关键词】模糊控制；BP神经网络；强化学习；Robocup 2D仿真；射门 The application of Intelligent Algorithms in the Simulation of Robotic soccer 2D HUANG Ying，CHEN Wei （Guang Dong University of Technology，Automation Faculty，GuangZhou 510090 China） Abstract：This paper summaries the research works on the shoot skill from the view of fuzzy logic，Pattern Recognition and BP neural network，Reinforcement learning and so on.Some of the improving algorithms are also proposed. Key words：fuzzy logic；BP neural network；Reinforcement learning；Robocup 2D simulation；shoot 1.引言 Robocup（Robot World Cup），即机器人世界杯足球赛，它涉及人工智能、机器人学、通讯、传感等诸多领域的前沿研究和技术集成。机器人足球是在动态不确定环境下对人工智能的考验，是以体育竞赛为载体的高科技对抗，是培养信息、自动化领域科技人才的重要手段[1]。 机器人足球作为仿真的实验平台，其有以下特点[2]~[3]： （1）动态实时性。每个仿真周期为100ms，每个agent必须在此期间完成全部的计算并将要执行的动作命令发送给Soccersever，否则将会失去本次动作执行的机会。 （2）环境干扰。Soccerserver为了使仿真比赛更加地真实，在环境中生成一定噪声，对每个agent的感知和执行动作进行干扰，不仅影响队员准确的感知环境信息，而且会让队员的动作执行产生误差。 （3）合作与协调。同队中的Agent具有一个共同的目标：射门进球。要使用有效的方法进行agent之间的合作，同时解决局部目标与全局目标，个体目标与共同目标之间冲突的问题。 （4）受限的通讯带宽。系统不允许Agent之间直接进行信息交换，全部通讯必须由SoeeerServer控制。在一定的仿真周期内，只有有限的消息得到传递。 对于每一个球员来说，球员的个人技能是整个球队的基础，没有过硬的技能，上层决策很难实现，因此优化球员的传球、带球、截球、射门等个人技能是非常重要的。但是鉴于RbobCup仿真平台的以上难点，使得仅靠人的经验进行手工编码来处理Agent的所有行为是不可能的。所以很多研究者尝试利用各种机器学习的方法来进行Agent技能的训练。近年来，出现了两大热潮：一是高层决策的改进，二是底层动作的改进，各种理论、智能算法用于仿真球队中，甚至不同的算法相结合应用[4]~[18] 机器人足球赛的主要目标就是射门得分。因此射门水平无疑是决定一支球队的关键因素。射门技能的目标是按指定的速度大小和射门方向，将球进行一次或多次KICK进球得分。但是射门情况十分复杂，无法通过纯手工编码实现。所以在射门技术中运用人工智能技术成为必然。在现有的资料中，关于射门技能的资料相对较少，本文主要论述已查阅到的几种智能算法在射门技能中的应用。 2.射门技术问题 2.1 射门的判断 当控球队员在对方区域时，有对方守门员准备扑球，有对方球员随时可能截球，场上情况变化很快，控球球员该怎样决策是否射门？需要考虑那些因素通过什么方式来判断射门的成功性很大而决定射门或者射门成功小而做其他动作？因此在Robocup中，判断球员是否应该射门，这是个相当重要的决策过程，关系到球队的最终性能。 2.2 射门最优路径的寻找 给定的状态下，控球球员在对方的球门范围内选择某一点射门，使得这一点的进球概率最高。这和很多因素相关。然而，在RoboCup仿真环境下的情况很复杂，状态空间巨大，要直接解决这个问题是很困难的。因为球运动过程中的噪声并不能精确地预测；且射门过程中球移动的距离也不尽相同，对方守门员的行为又不能准确预测。因此，利用简单的分