全局游戏策略中基于经验的学习方法.pdfVIP

第２９卷第１期 计算机应用与软件 Ｖｏｌ２９Ｎｏ．１ ２０１２年１月 ＣｏｍｐｕｔｅｒＡｐｐｌｉｃａｔｉｏｎｓａｎｄＳｏｆｔｗａｒｅ Ｊａｎ．２０１２ 全局游戏策略中基于经验的学习方法 宋 骁 健 （杭州电子科技大学智能与软件技术研究所　浙江杭州３１００１８） 摘　要　　全局游戏策略ＧＧＰ（ＧｅｎｅｒａｌＧａｍｅＰｌａｙｉｎｇ）旨在开发一种没有游戏经验支撑下能够精通各类游戏的人工智能。在原有强 化学习算法研究的基础上，提出一种基于经验的简化学习方法，通过对游戏状态的筛选和游戏经验的归纳，从而降低决策对经验数 量的需求，提高决策效率，并能达到指定胜利、平局或失败的游戏目标。通过在三种不同的游戏规则下与玩家进行游戏比赛实验表 明，该学习方法能有效地达到预期结果。 关键词　　全局游戏策略　人工智能　强化学习 中图分类号　ＴＰ１８１　　　　文献标识码　Ａ ＥＸＰＥＲＩＥＮＣＥＧＥＮＥＲＡＴＩＯＮＬＥＡＲＮＩＮＧＩＮＧＥＮＥＲＡＬＧＡＭＥＰＬＡＹＩＮＧ ＳｏｎｇＸｉａｏｊｉａｎ （ＩｎｓｔｉｔｕｔｅｏｆＩｎｔｅｌｌｉｇｅｎｔａｎｄＳｏｆｔｗａｒｅＴｅｃｈｎｏｌｏｇｙ，ＨａｎｇｚｈｏｕＤｉａｎｚｉＵｎｉｖｅｒｓｉｔｙ，Ｈａｎｇｚｈｏｕ３１００１８，Ｚｈｅｊｉａｎｇ，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ　　ＧｅｎｅｒａｌＧａｍｅＰｌａｙｉｎｇａｉｍｓａｔｄｅｖｅｌｏｐｉｎｇｇａｍｅｐｌａｙｉｎｇａｇｅｎｔｓｔｈａｔａｒｅａｂｌｅｔｏｂｅｃｏｍｅｐｒｏｆｉｃｉｅｎｔａｔｐｌａｙｉｎｇａｖａｒｉｅｔｙｏｆｇａｍｅｓ ｗｉｔｈｏｕｔｓｐｅｃｉｆｉｃｐｒｅｐａｒａｔｏｒｙｇａｍｅｅｘｐｅｒｉｅｎｃｅ．Ａｆｔｅｒｓｔｕｄｙｉｎｇｅｘｉｓｔｉｎｇｒｅｉｎｆｏｒｃｅｍｅｎｔｌｅａｒｎｉｎｇａｌｇｏｒｉｔｈｍｓ，ｔｈｅｐａｐｅｒｐｕｔｓｆｏｒｗａｒｄａｎｅｘｐｅｒｉｅｎｃｅ ｇｅｎｅｒａｔｉｏｎｓｈｏｒｔｃｕｔｌｅａｒｎｉｎｇｍｅｔｈｏｄ．Ｔｈｒｏｕｇｈｇａｍｅｓｔａｔｕｓｓｅｌｅｃｔｉｏｎａｎｄｇａｍｅｅｘｐｅｒｉｅｎｃｅｃｏｎｃｌｕｓｉｏｎ，ｄｅｃｉｓｉｏｎｍａｋｉｎｇｒｅｑｕｉｒｅｓｌｅｓｓｅｘｐｅｒｉｅｎｃｅ ａｎｄｅｎｈａｎｃｅｓｅｆｆｉｃｉｅｎｃｙ．Ｔｈｅｄｅｓｔｉｎｅｄｇｏａｌｏｆｔｈｅｇａｍｅ，ｅｉｔｈｅｒｖｉｃｔｏｒｙ，ｏｒｄｒａｗ，ｏｒｄｅｆｅａｔ，ｃａｎｂｅｒｅａｃｈｅｄ．Ｅｘｐｅｒｉｍｅｎｔｓａｒｅｃａｒｒｉｅｄｏｕｔｗｉｔｈ ｔｈｒｅｅｇａｍｅｒｕｌｅｓｒｅｓｐｅｃｔｉｖｅｌｙａｇａｉｎｓｔｈｕｍａｎｐｌａｙｅｒｓ．Ｉｔｉｓｐｒｏｖｅｎｔｈａｔｔｈｅｐｒｏｐｏｓｅｄｌｅａｒｎｉｎｇｍｅｔｈｏｄｃａｎｅｆｆｅｃｔｉｖｅｌｙｍｅｅｔｅｘｐｅｃｔａｔｉｏｎｓ． Ｋｅｙｗｏｒｄｓ　　Ｇｅｎｅｒａｌｇａｍｅｐｌａｙｉｎｇ　Ａｒｔｉｆｉｃｉａｌｉｎｔｅｌｌｉｇｅｎｃｅ　Ｒｅｉｎｆｏｒｃｅｍｅｎｔｌｅａｒｎｉｎｇ ＴａｃＴｏｅ。 ０　引　言 １　相关知识 游戏中智能的设计与构建一直是人工智能研究中的热门领 域。游戏中，人工智能不仅要模仿人的智能，还需要实现设计者 为了满足玩家需求所设定的目的的能力。通过对游戏信息的收 １．１　全局游戏策略 集、积累和归纳的过程，智能体在获得经验的同时，对当前状态 史坦福大学举办的关于 ＧＧＰ的比赛，致力于增强对ＧＧＰ 有了一定的预见性，并由此做出合理的反应。 领域的研究［５］。比赛包含游戏的完整信息、可操作且运行良好 人工智能利用在当前游戏规则下的经验体现出对游戏的掌 的游戏以及参与游戏的玩家。游戏规则采用ＧＤＬ（ＧａｍｅＤｅ 握程度。具有代表性的是，文献［１］提出通过建立搜索树并利 ｓｃｒｉｐｔｉｏｎＬａｎｇｕａｇｅ）［６］进行描述。ＧＤＬ的描述内容包括游戏的 用存放人类知识的数据库来设定权值技术的“深蓝”。作为ＡＩ 初始状态、合法的操作、状态转换规则、游戏目标和判断游戏结 玩家在１９９７年战胜了当时等级分排名世界第一的棋手加里· ［７］ 束的条件。比赛的第一届优胜者是 Ｃｌｕｎｅｐｌａｙｅｒ ，第二届是 卡斯帕罗夫。但是深蓝不能在其它游戏中战胜玩家。 ［８］ Ｆｌｕｘｐｌａｙｅｒ 。他们的共同点是通过自动获取游戏特征值，并结 如深蓝这类人工智能的设计局限性在于过于依赖设计者的 合实时的游戏信息进行权值评估。文中所用的ＴｉｃＴａｃＴｏｅ（３ 个人经验。设计者在总结游戏经验后，对当前游戏规则下的判 ×３×３）游戏规则，文献［９］中有相关的解释和研究。 定过程进行归纳，并设定合理的权值，或直接采用现有的人类经 ＧＧＰ游戏模式中，需要特定的操作行为对游戏过程的有限 验。针对该问题，文献［２］提出一种在没获得规则信息的条件 状态进行切换。如图１所示，游戏状