机器增强学习在围棋死活题上下文模式上的运用.pdfVIP

30 200r7中国机器博弈学术研讨会论文集 机器增强学习在围棋死活题上下文 模式上的运用 窦青，刘知青 (北京邮电大学北邮一九鼎计算机围棋研究所，北京100876) 摘要：传统的人工智能中的搜索方法让计算机国际象棋的博弈水平超过了人类，然而围棋广大 的搜索空间一直是人工智能领域一个未能攻克的难题。通过对围棋知识的学习来指引搜索过程 成为近年来计算机围棋领域的一个新兴课题。机器增强学习在许多领域有着广泛的应用。将机 器增强学习的方法应用到对死活问题的学习上。学习过程中的状态用搜索过程中收集到的模式 进行表示，并通过增强学习中TD(|：I)的方法对这些模式所代表的状态进行赋值。实验结果表明。 本文所采用的模式组的状态表示方法还不够理想。与此同时对造成此结果的主要原因进行了分 ‘ 析并提供了可能的改进方法。 关键词：机器增强学习；围棋；模式 则它们便相互连接成一个不可分割的整体。它们 1背景介绍 的气也应一并计算。 禁着点 围棋是一种古老的由两个人进行对抗的竞技 棋盘上的任何一点，如某方下子后，该子立即 游戏。交战方分别为黑方和白方，轮流在棋盘上落 呈无气状态，同时又不能提取对方的棋子，这个 子，最后以哪一方在棋盘上占领的地多少来区分 点，叫做禁着点，禁止下子如图1的甲、乙、丙三例 胜负。 的A点都是黑方的禁着点。 几种常见的围棋术语介绍 打劫 棋子的气 一个棋子在棋盘上，与它直线紧邻的空点是 这个棋子的“气”。． 卜-H1_+_}_卜十十Ooo十郴十H 棋子直线紧邻的点上，如果有异色棋子存在， 卜十一ooo+卅O●O++O●o+_{ 这口气就不复存在。如所有的气均为对方所占 o+_卜oAoH 卜_十-OAo+_}斗o●A 据，便呈无气状态。无气状态的棋子不能在棋盘 上存在。 卜+_十oo+-}—+—oooo+++o+—+一 提子 把无气之子提出盘外的手段叫“提子”。 l l I I I I l I I l I I I I I I I 一、下子后，对方棋子无气，应立即提取。 图l图题 二、下子后，双方棋子都呈无气状态，应立即 提取对方无气之子。 以上只是为了读者便于理解本文而列出的围 棋块 棋的一些基本规则。更多的规则及规则的变形请 棋子直线紧邻的点上，如果有同色棋子存在， 参阅相关文档。 窦 青，等：机器增强学习在围棋死活题上下文模式上的运用 3l 程其实就是一个函数逼近的过程。RL方法基于 2围棋死活问题 的核心思想来源于dyll锄ic舯噌硼哦llg；其中有两 个重要的原则确保程序能够在不断探索的过程中 围棋的死活问题又被称为Ts咣Go