机器人足球防御仿真中强化学习方法的研究-计算机软件与理论专业论文.docxVIP

大连理工大学硕士学位论文摘 大连理工大学硕士学位论文 摘 要 机器入足球(Robocup)是一个研究多智能体系统在实时对抗环境下决策与合作问题 的平台。由于分布性、实时性、动态性、异步性等特点，使其成为分布式人工智能研究 的一个标准的平台。防御仿真(Soccer Keepaway)是机器人足球中的一个小的子任务，是 研究强化学习的标准平台fbenchmark)，大部分强化学习方法都可以在该平台上得以检 验。 强化学习不需要先验知识，直接与环境进行交互获取知识、改进行为策略。由于能 够处理噪声的干扰和随机性，以及延迟的目标，不必知道系统的动态模型。对于大的状 态空间问题也可以通过状态压缩、函数近似的方法解决，能够相对快速地进行决策，能 够解决RoboCup中的诸多富有挑战性的问题，因而在机器人足球中获得了广泛的应用。 本文分析了几种强化学习方法，包括基于值函数(Value．Based)近似方法、策略梯度 方法(Policy Gradient)、以及Actor—Critic方法等。着重讨论了Actor—Critic强化学习方法 以及用片(Tile．coding)线性函数近似来获取特征值的方法。而且分析了在防御仿真中使 用Actor．Critic方法的优缺点，同时与基于值函数近似的强化学习以及基于策略梯度的 强化学习做了～个比较。 最后，通过实验对强化学习算法得到的策略以及标准的策略做了一个比较。结果表 明，通过强化学习方法得到的策略要优于标准策略；对于小的问题，球员在360度视角 下，通过Actor．Critic强化学习方法得到的策略比基于值函数强化学习方法Sarsa(％)得到 的策略要好。 关键词：强化学习；MAs；Actor-Cr itic；RoboCup；函数近似 大连理工大学硕士学位论文Reinforcement 大连理工大学硕士学位论文 Reinforcement Learning Research on RoboCup Soccer Keepaway Abstract RoboCup aims at providing a platform in which multi agents coordinate and make decision in real time．Because it is distributed，time—critical，dynamic and asynchronous，it has become a benchmark for researching in distributed Artificial Intelligence．Soccer Keepaway is a subtask in RoboCup。it is a benchmark for reinforcement learning．most of which can be verified in this task． Reinforcement Learning doesn’t need to know about the environment，rather it obtain the knowledge and improve the acting policy by interacting、Ⅳitll the environment．It can handle the noise and stochastic variante，delayed goals，and doesn’t need to know the system dynamics．The large state space Call be handled using function approximation or state condensation．It is also oriented towards．making decisions relatively rapidly rather than relying on extensive deliberation or meta-reasomng．So there are more and more applications in the RoboCup simulation using reinforcement learning． In this paper，we analyze some reinforcement learning methods，which are Value—based reinforcement leaming(VBRL)，Policy—Gradient reinforcement learning and Actor—Critic reinforce