一种改进型q学习算法及其在行为树中的应用-计算机应用与软件.pdfVIP

第３４卷第１２期　　　 计算机应用与软件 Ｖｏｌ３４Ｎｏ．１２ ２０１７年１２月　　 ＣｏｍｐｕｔｅｒＡｐｐｌｉｃａｔｉｏｎｓａｎｄＳｏｆｔｗａｒｅ Ｄｅｃ．２０１７ 一种改进型Ｑ学习算法及其在行为树中的应用 涂　浩　刘洪星 （武汉理工大学计算机科学与技术学院　湖北武汉４３００６３） 摘　要　　游戏中的非玩家角色（ＮＰＣ）通过学习获得智能，因此学习算法的设计是一个关键问题。提出一种改 进型Ｑ学习算法（ＳＡＱＬ），它以模拟退火算法为基础，在状态空间、探索策略、报酬函数等方面改进了Ｑ学习算法 的不足。将该算法运用到行为树的设计中，使ＮＰＣ能在游戏过程中实时学习，调整行为树中逻辑行为的最佳执 行点，从而产生合适的行为响应。实验结果表明，ＳＡＱＬ算法比传统Ｑ学习算法效率更高，控制ＮＰＣ的效果 更好。 关键词　　游戏人工智能　行为决策　Ｑ学习　行为树 中图分类号　ＴＰ３　　　　文献标识码　Ａ　　　　ＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１０００３８６ｘ．２０１７．１２．０４５ ＡＮＩＭＰＲＯＶＥＤＱＬＥＡＲＮＩＮＧＡＬＧＯＲＩＴＨＭＡＮＤＩＴＳＡＰＰＬＩＣＡＴＩＯＮ ＩＮＢＥＨＡＶＩＯＲＴＲＥＥ ＴｕＨａｏ　ＬｉｕＨｏｎｇｘｉｎｇ （ＣｏｌｌｅｇｅｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ，ＷｕｈａｎＵｎｉｖｅｒｓｉｔｙｏｆＴｅｃｈｎｏｌｏｇｙ，Ｗｕｈａｎ４３００６３，Ｈｕｂｅｉ，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ　　Ｔｈｅｎｏｎｐｌａｙｅｒｃｈａｒａｃｔｅｒ（ＮＰＣ）ｉｎａｇａｍｅｇａｉｎｓｉｎｔｅｌｌｉｇｅｎｃｅｂｙｌｅａｒｎｉｎｇ，ｓｏｔｈｅｄｅｓｉｇｎｏｆｔｈｅｌｅａｒｎｉｎｇ ａｌｇｏｒｉｔｈｍｂｅｃｏｍｅｓｔｈｅｋｅｙｉｓｓｕｅ．Ｉｎｔｈｉｓｐａｐｅｒ，ａｎｉｍｐｒｏｖｅｄＱｌｅａｒｎｉｎｇａｌｇｏｒｉｔｈｍ（ＳＡＱＬ）ｗａｓｐｒｏｐｏｓｅｄ．Ｂａｓｅｄｏｎ ｓｉｍｕｌａｔｅｄａｎｎｅａｌｉｎｇａｌｇｏｒｉｔｈｍ，ｔｈｅＱｌｅａｒｎｉｎｇａｌｇｏｒｉｔｈｍｗａｓｉｍｐｒｏｖｅｄｉｎｔｈｅａｓｐｅｃｔｓｏｆｓｔａｔｅｓｐａｃｅ，ｅｘｐｌｏｒａｔｉｏｎｓｔｒａｔｅｇｙ ａｎｄｒｅｗａｒｄｆｕｎｃｔｉｏｎ．Ｔｈｅｎｔｈｅａｌｇｏｒｉｔｈｍｗａｓａｐｐｌｉｅｄｔｏｔｈｅｄｅｓｉｇｎｏｆｂｅｈａｖｉｏｕｒｔｒｅｅ，ｓｏｔｈａｔｔｈｅＮＰＣｃｏｕｌｄｌｅａｒｎａｎｄ ａｄｊｕｓｔｔｈｅｂｅｓｔｅｘｅｃｕｔｉｏｎｐｏｉｎｔｏｆｔｈｅｌｏｇｉｃａｌｂｅｈａｖｉｏｕｒｉｎｔｈｅｐｒｏｃｅｓｓｏｆｔｈｅｇａｍｅｉｎｒｅａｌｔｉｍｅ，ａｎｄｐｒｏｄｕｃｅｄｔｈｅ ａｐｐｒｏｐｒｉａｔｅｂｅｈａｖｉｏｒｒｅｓｐｏｎｓｅ．ＥｘｐｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓｓｈｏｗｅｄｔｈａｔｔｈｅＳＡＱＬａｌｇｏｒｉｔｈｍｗａｓｍｏｒｅｅｆｆｉｃｉｅｎｔｔｈａｎｔｈｅ ｔｒａｄｉｔｉｏｎａｌＱｌｅａｒｎｉｎｇａｌｇｏｒｉｔｈｍ，ａｎｄｈａｄｂｅｔｔｅｒｃｏｎｔｒｏｌｅｆｆｅｃｔｏｎＮＰＣ． Ｋｅｙｗｏｒｄｓ　　ＧａｍｅＡＩ　Ｂｅｈａｖｉｏｕｒｄｅｃｉｓｉｏｎ　Ｑｌｅａｒｎｉｎｇ　Ｂｅｈａｖｉｏｕｒｔｒｅｅ 的方式与环境进行交互，根据环境对动作的评价性反 ０　引　言 馈信号改进行动方案以适应环境。将 Ｑ学习算法运 用于ＮＰＣ的行为树设计是一种可行的方法。然而在 行为树由于其简单、灵活和模块化等优势，被广泛 具有大规模状态空间或连续状态空间的游戏任务中， 用于设计游戏中非玩家角色（ＮＰＣ）的行为决策。然 该方法也面临着一些问题，其中之一就是在动作选择 而，对于大多数行为树的设计，所有任务的控制细节通 时的“探索和利用”问题：如果仅根据当前状态动作值 常都是手动编码的，因此开发过程往往花费大量的时 选择最优动作，则容易陷入局部最