基于强化学习TD算法的乒乓游戏击球策略优化.docVIP

基于强化学习TD算法的乒乓游戏击球策略优化 　　摘要：计算机乒乓游戏是出现在个人计算机上最早的游戏之一，该文利用强化学习中的TD算法，将状态的变化与得分的统计规律统计出来，就是研究在当前状态S下，球拍怎样移动获利最大，让机器击球手快速运动并准确击球。 　　关键词：机器学习；TD算法；策略优化 　　中图分类号：TP311文献标识码：A文章编号：1009-3044(2011)28-6926-02 　　Pong Game Batting Strategy Optimization Based on the TD Algorithm of Reinforcement Learning 　　CHEN Gong, ZHOU Yi-cheng, WANG Hui 　　(School of Computer Science Technology Soochow University, Suzhou 215000, China) 　　Abstract: The pingpong game is the earliest game on personal computer, now we using the TD algorithm of reinforcement learning, and we add up changes of state and scoring of the statistical regularity.That is the study of current status of S, how to move to get the highest profit, let the machine batsman fast motion and accurate shots. 　　Key words: reinforcement learning; TD algorithm; strategy optimization 　　计算机乒乓游戏是出现在个人计算机上最早的游戏之一，本文利用强化学习的方法，通过训练让机器击球手快速运动并准确击球，并最终对击球策略进行优化使得机器击球手实现智能对抗，从而增加游戏的激烈程度和趣味性。 　　1 TD算法概述 　　近年来，强化学习技术在人工智能、机器学习和自动控制等领域中得到了广泛的研究和应用，并被认为是设计智能系统的核心技术之一[1-3]。时序差分学习方法在早期的强化学习和人工智能中占有重要地位，并取得了一些成功的应用。 　　TD算法是Sutton在1988年提出的用于解决时间信度分配问题的著名方法[4]。它能够有效的解决强化学习问题中的暂态信用分配问题，可被用于评价值函数的预测。几乎所有强化学习算法中评价值的预测法均可看作TD方法的特例，以至于通常所指的强化学习实际上就是TD类强化学习[5]。为了解决机器击球手的策略优化问题，通过对球的运动轨迹、球板状态的跟踪并用TD方法计算球板的动作值函数，是策略优化的基础。 　　TD利用经验去解决预测问题。给一些在策略π下的经验，更新对于Vπ的估计V。如果在t时刻访问非终止状态st，然后依据此次访问之后发生的事来更新它们的估计V(st)。 　　TD方法需要等到下一个时间步。在时刻t+1，它们立刻形成一个目标，并且利用观察得到的奖赏值rt+1和估计值V(st+1)去进行一个有用的更新。最简单的TD方法，TD(0)，是 　　 V(st)←V(st)+α[rt+1+γV(st+1)-V(st)] （1） 　　因为TD方法的更新部分基于一个已经存在的估计，像DP一样，所以我们称之为bootstrapping方法。 　　图1给出了完整的TD(0)过程，图2给出了它的更新图。对更新图顶部的状态节点的值估计的更新建立在从它到立即下一状态样本迁移的基础上。我们使用TD作为样本更新（sample backup），是因为它涉及展望样本的后续状态（或者是状态-动作对），沿着这条路径，使用后继值和奖赏值计算更新值，据此改变初始状态（或者状态-动作对）的值。样本更新与动态规划方法的完全备份不同点在于：样本更新依据一个单一的样本后继而不是所有可能后继的完全分布。 　　2 问题描述 　　本实验通过建立一个虚拟乒乓球实验环境，研究TD（0）算法的特性。在这个虚拟实验环境中，球桌的尺寸为9*6，球拍的宽度为3，位于球桌左侧球拍为待学习者，球桌右侧有一个发球机，可以向各个方向以不同速度发球，乒乓球的尺寸为1*1，因此就是将球桌抽象为一个9*6的一个矩阵。 　　球拍（待学习者）有个动作表,通过一个数组来表示。在当前状态下，球拍可以有上一、上二、下一、下二、不动五种动作，且在每个位置，球拍都有这5种动作。球拍的状态即球拍的纵坐标；乒乓球的状态，就是其