球员智能体设计剖析.ppt

第3章 球员智能体设计 本章概要 有益的工作基础 记1998-2010年历届世界冠军的有益经验 球员智能体整体设计架构 球员智能体具体功能设计 球员智能体构建核心类 球员智能体构建其他辅助类 球员智能体程序控制流程 三线程控制结构 球员智能体执行例程 3.1有益的工作基础 CMU 1998、1999年世界冠军 FC Portugal 2000年世界冠军 Tsinghuaeolus 2001、2002年世界冠军 UVA-Trilearn 2003年世界冠军 Karlsruhe Brainstrormers 2005、2007年世界冠军 USTCWrightEgle 2006、2009年世界冠军 Hellios 2008、2010年世界冠军 3.1.1CMU99 CMU是美国卡耐基梅隆大学(Carnegie Mellon University )的一支球队，曾获得了Robocup98、99仿真组的冠军。这支球队的主要设计人Peter Stone在他的博士论文《Layered Learning in Mutli_agent System》中详细的描述了这支球队。 3.1.1CMU99(1) 3.1.1CMU99(2) Real World：Server表示的世界状态 World State：agent内部可识别的世界状态。从Real World到World State需要进行解析 Locker-room Agreement：用于Agent的同步，并定义了球队进行协作的机构以及Agent之间的通讯协议。它仅能够被Internal Behaviors访问 Internal State：存储了Agent的一些内部变量。可以存储Agent以前或当前时刻的世界状态 Internal Behaviors：根据当前的世界状态、内部状态、球队协议（Locker-room Agreement）来更新Agent的内部状态的内部动作 External Behaviors：根据世界状态以及更新后的内部状态来做出一个动作送给动作器以作用于真实世界（Real World）。同时回送给Agent进行预测 3.1.1CMU99(3) BC树 3.1.1CMU99(4) CMU的层次学习 第一层，进行Agent个体基本技术的学习。典型的例子就是进行断球的学习，通过神经网络的方法，对在不同的场景下学习断球。 第二层，Agent同另外一个Agent之间的协同学习。典型的例子是进行传球的学习，如在球场上Agent当前在控球，并且做出了决策要就进行传球给一个特定的队友，这时它必须学习一个合适的方向和传球速度。在该层它可以调用第一层已经学习过的基本技术。这通过构造决策树的方法，求出相应的节点值，构造出一个分类器。典型的算法是C4.5决策树算法。 第三层，Agent同其他多个Agent之间进行的球队策略学习。比较典型的例子是进行传球对象的选择，如在球场上Agent当前在控球，这时它要选择把球传给哪个队友。在学习本层的时候，也认为第二层已经学习过了，这时它要考虑时传给哪个队友的利益大。主要是通过TPOT-RL(Team-Partitioned Opaque-Transition Reinforcement Learning)来进行学习。 3.1有益的工作基础 CMU 1998、1999年世界冠军 FC Portugal 2000年世界冠军 Tsinghuaeolus 2001、2002年世界冠军 UVA-Trilearn 2003年世界冠军 Karlsruhe Brainstrormers 2005、2007年世界冠军 USTCWrightEgle 2006、2009年世界冠军 Hellios 2008、2010年世界冠军 3.1.2 FC Portugal 2000 FC Portugal由葡萄牙的里斯本大学和波尔图大学合作完成的一支球队。获得了2000年世界冠军。 它是在CMUnited99公开的底层源代码的基础上，对多智能体的合作方面做出了巨大的贡献（在这之前，Robocup仿真参赛队的阵型以及战位都