计算机围棋博弈的最新发展-全国计算机博弈大赛.ppt

计算机围棋的最新发展 北京邮电大学 北邮?九鼎计算机围棋研究所 刘知青 提纲 计算机围棋博弈研究的意义及其主要困难 计算机围棋博弈的发展历史 传统的计算机围棋博弈技术 现代的计算机围棋博弈技术 蒙特卡罗模拟 信心上限算法与信心上限应用树算法 蒙特卡罗树搜索 并行与分布式计算 总结与展望 计算机围棋博弈研究的意义 科学技术意义 机器学习 模式识别 自然语言理解 分布式高性能计算 社会意义 国防建设 教育 娱乐 围棋是最具挑战性的计算机博弈 1997年，许峰雄博士领导的IBM Deeper Blue团队在国际象棋上战胜了世界冠军。 2006年，徐心和教授领导的东北大学棋天大圣团队在中国象棋上战平了全国冠军。 围棋是唯一一个计算机博弈水平仍远低于人类博弈水平的传统博弈 现在，最强的19路计算机围棋能达到被职业棋手让大约7-9个子的水平。 计算机围棋博弈的基本方法 博弈树搜索 通过搜索博弈树进行落子选点 当博弈树搜索过程可以终结的时候，该搜索过程会找到最优落子点，并同时证明该落子选点是最优的 专家系统 通过使用具有知识、规则、推理的专家系统进行落子选点。 计算机围棋博弈的二大核心困难 搜索无法终结 – 无法有效地终结在围棋博弈树上的传统搜索过程 围棋具有巨大的状态空间复杂度和博弈树复杂度 提前终结搜索依赖于准确的静态盘面评估，而围棋从本质上无法做准确的静态盘面评估 落子选点无法验证 – 围棋专家系统的构建非常复杂，其落子选点无法经过严格的验证（例如，数学证明，或搜索验证） 巨大的状态空间和博弈树复杂度 围棋具有巨大的状态空间复杂度和博弈树复杂度 状态空间复杂度（用于搜索） 十九路围棋：10172 国际象棋：1046 中国象棋：1048 博弈树复杂度（用于决策） 十九路围棋： 10300 国际象棋： 10123 中国象棋： 10150 不可能的准确静态盘面评估 围棋从本质上无法做准确的静态盘面评估 分析围棋棋子位置，数目的多少，以及棋子之间的静态关系（例如影响函数）无法完整地和准确地评判围棋棋子的作用与最终死活 围棋棋子的作用与最终死活必须由博弈的具体进程所决定 完整和准确的围棋盘面评估也无法静态地完成 过早的终结围棋搜索无法得到有效的盘面评估结果（例如，α-β搜索） 无法验证专家系统的落子选点 通过知识、规则和推理不可能构建高水平的计算机围棋博弈专家系统 知识和规则通常局限在局部和低层次上 围棋的知识和规则过于复杂，例外极多 通过专家系统所产生的局部落子选点无法经过严格的全局验证 计算机围棋博弈的发展历史 传统计算机围棋博弈技术（1968至2005） 现代计算机围棋博弈技术（2006至今） 分水岭（2006) -- UCT算法的出现及其在计算机围棋博弈上的应用 传统的计算机围棋博弈技术 基于影响函数的形势判断 使用模式生成落子候选点 开局定式，手筋，等等。 表示人类所使用的围棋抽象 串，群，眼，眼位，等等。 局部搜索 吃和逃（征子），连结和切断，死活，等等。 全局搜索（使用得非常有限） 现代计算机围棋博弈技术 现代计算机围棋博弈主要使用的关键技术： 蒙特卡罗模拟（Monte Carlo Simulation） 信心上限算法（UCB，Upper Confidence Bounds） 信心上限应用树算法（UCT，UCB applied to Trees） 蒙特卡罗树搜索（MCTS ，Monte Carlo Tree Search） 高性能计算（High Performance Computing） 蒙特卡罗模拟 用于围棋形式评估 从所需评估盘面开始 进行随机对弈至终局 把终局结果返回给所需评估盘面 以大量模拟的期望值来评估该盘面 参考文献 Abramson, B. (1990). Expected-outcome : a general model of static evaluation. IEEE transactions on PAMI, Vol. 12, pp. 182–193. Bruegmann, B. (1993). Monte Carlo Go. /vegos/MonteCarloGo.pdf 蒙特卡罗模拟的特点 蒙特卡罗模拟可以看作是博弈树上单个路径上的搜索，并有以下二个特点： 搜索可快速终结 2GHz Pentium，10000盘/秒九路围棋蒙特卡罗模拟 十九路围棋的蒙特卡罗模拟速度大约是九路围棋的1/4 选点可快速验证 选点的优劣可根据终局结果在一定程度上得以验证 终局结果通过中国围棋规则进行简单评判 缓解了计算机围棋博弈的二大主要困难 增加模拟时间可以方便地提高总体的评估效果 蒙特卡罗模拟的效果与局限性 蒙特卡罗模拟的效果是明显的： 1993年，Gobble在286PC上达到九路围棋25级的水平 在UCT算法