基于MCTS-RAVE的智能博弈.pdfVIP

Vol.lO No.2 江南大学学报(自然科学版) 第 10 卷第 2 期 2011 年4 月 Journal of Jiangnan University( Natural Science Edition) Apr. 2011 基于 MCTS-RAVE 的智能博弈 芮雄星， 王一莉事 (南京工业大学电子与信息工程学院江苏南京 21∞09) 摘 要:针对蒙特卡罗树搜索(MCTS) 算法对蒙特卡罗模拟次数的依赖性较强，为获得较高智能 必须进行多次模拟的情况，提出了结合在线强化学习知识以减少 MCTS 算法对蒙特卡罗模拟次数 的依赖，在搜索过程中积累强化学习知识，并快速对动作值作出估计。实例表明，该种方法较 MCTS 具有更高的智能表现，并有一定的实用价值。 关键词:博弈搜索;蒙特卡罗树搜索;快速动作值估计 中图分类号:TP 391 文献标识码:A 文章编号:1671 -7147(2011)02 -0175-04 Intelligence Gaming Research ßased on MCTS-RAVE RUI Xiong-xi吨， W ANG Yi-li • (College of Electronic and Information Engineering , Nanjing University of Technology , Nanjing 2H归09 ， China) Abstract: For Monte-Carlo Tree Search (MCTS) algorithm , its intelligence heavily depends on the times of Monte-Carlo( MC) simulations and huge simulation times are needed to gain high intelligence. In this paper , a method of improving MCTS is proposed. Online reinforcement learning( RL) is added to MCTS. RL knowledge is accumulated through MC simulation , and Rapid Action Value Estimation( RAVE) is made. A case is presented to show that the MCTS-RAVE is more intelligent than MCTS. Key words: gaming search , MCTS , RAVE 蒙特卡罗树搜索(Monte Carlo Tree Search , 文中介绍一种改进的博弈搜索算法，将 MCTS MCTS) 算法最初是为了计算机围棋博弈而发明 与快速动作值估计(Rapid Action Value Estimation , 的[1] 。其核心思想是通过统计大量的蒙特卡罗抽样 RAVE) 方法相结合，即 MCTS-RAVE。将强化学习 思想融入 MCTS 算法中，用于改善其对蒙特卡罗抽 结果以逼近准确的棋局评估函数，从而选择较好的 样次数的依赖程度。将该算法运用于五子棋博弈问 走法，即将蒙特卡罗法作为棋局的评估函数。该方 题以验证其正确性，并与 MCTS 进行比较。 法巧妙地回避了传统博弈搜索算法的估值函数不 准确的