球队决策策略技术方案.pptVIP

第7章 球队决策策略 本章的主要内容 Robocup球队策略里面应该包含的那些内容。 一个经典的跑位规划方法―FC Portugal的SBSP(Situation Based Strategic Positioning) 介绍了一个局部战术配合3Vs.2战术。 一般进攻体系的设计，主要包含进攻队员的动作选择，一般队员的协同以及跑位。 一般防守体系的设计，涉及到防守点的选择，防守动作的评价、守门员的防守的动作等方面的内容。 7.1 Robocup球队策略综述 从足球比赛的角度来看，体现球队整体策略的就是球队的整体进攻和防守体系，当所有球员都按照相同的决策框架来进行决策时，球员的决策依据都相同，对其他队员的预测就比较准确，整个球队就能够体现出一定的协调性了。当Agent间的意愿一致的时候他们就会进行协作，当他们的意愿不一致的时候，就要进行协商，处理矛盾。Remco在他的论文中对球队的整体策略进行了一下归纳。 7.1 RoboCup球队策略综述 (1)．整体策略指定了队伍的阵型以及其中队员的位置。更进一步，它可以决定什么情况下应该采用什么样的阵型。 (2)．整体策略定义了阵型中不同的角色，并把角色分配给不同位置的球员，同时确定哪种异构球员适合哪种角色。 (3)．对于每种类型的球员（后卫，中场，前锋等）球队策略应该根据它的角色确定分配给他哪些相应的行为。如对一个防守队员来说，一般它应该比进攻队员保守，它选择的动作也应该是偏向防守的。 7.1 RoboCup球队策略综述 (4)．整体策略一般还包括球员应该如何根据场上形势来调整行为的信息。比如在特定的策略下，一个球员在对自己的动作进行选择的时候应该考虑到位置和位置所在的区域，同时还要考虑队友和对手的位置。 (5)．整体策略应该指定如何协调各个球员的行为．因为不同的球员由于感知的不同，在策略的执行上可能出现不协调。如何减小这种潜在不协调的危险是策略的一部分。 (6)．整体策略还应该能够在比赛中合理的管理球员的体力。如球员在比赛中如果自己的体力特别低，除非万不得已一般尽量减少跑动以恢复体力。 7.1 RoboCup球队策略综述 此外，球队的整体策略还应该考虑其他一些因素。比如说 (1)．对手的强弱。对强弱不同的对手的动作是不一样的，如对手的截球能力强在传球的时候对传球的细节考虑就应该更细一点，对手弱，考虑的就少一点，可以为追求更好的结果而采用更加冒险的传球。 (2)．对方球队的整体倾向。如对手是倾向于进攻还是倾向于防守。 (3)．比赛的场上情况。比如说场上的比分，是落后还是领先。 7.1 Robocup球队策略综述 (4)．场上是否处于关键状态。如我们已经攻入对方禁区或对手攻入我方的禁区采取紧急动作。 (5)．其他一些因素。是否考虑换人、是否考虑球员类型的转换等等。 在设计的时候应尽量考虑到上面的情况。 7.2基于场上形势的战术跑位(SBSP) SBSP首先是由FC Portugal提出的，它是结合了Peter Stone在CMU球队里面的阵型和位置的概念，并在此基础上面引入了战术、场上情况、队员类型等概念。 SBSP的一些定义 SBSP的一些定义（续） SBSP的一些定义（续） SBSP的一些定义（续） SBSP的使用 SBSP的使用（续） SBSP的使用（续） 最后得出了球员(Agent)在场上的战略跑位： SBSP小结 SBSP是一个比较成功的球队整体策略的应用。它的基本思想是把场上状态分为积极的和战略的。球员的策略也分积极的和战略的。当场上状态是积极的时候，一般这是也就是关键的时候，如已经攻入了对方禁区，或进行战术配合的时候，这时Agent就不在考虑在进行高层的决策直接采用反应式的方式，如进入禁区面对守门员形成单刀，这是只有一个动作选择，那就是射门。当场上状态进入战略状态的时候，如进攻时，控球队员是处于积极状态，它进行动作的选择，其他队员都进入战略状态，这时它们的选择就是跑位，这就是使用SBSP，跑到一个战略位置。防守时在考虑盯人、阻截球的情况下，其他队员就要选择合适的位置进行跑位。这时使用的也是SBSP。 SBSP的一般算法 IF 场上是战略状态 IF 本方进攻 进攻球员进行动作选择、其他队员按SBSP跑位 ELSE 防守队员截球、盯人、按SBSP跑位 ELSE 采用积极状态下的即时动作 设计RoboCup仿真比赛程序的主要难点： 在连续空间作连续的决策； 多个Agent的存在给状态空间带来维数灾难； 环境的反馈延迟太长。 环境具有强实时性和动态性； 环境通讯带宽很窄； 环境有噪声； 环境具有部分可观性； 环境不具有马尔可夫性； 7.3强化学习实现局部战术 实际上，机器人足球比赛中的动作选择可以看成是在一定的环境下Agent