浅谈围棋人工智能.docx

?

?

浅谈围棋人工智能

?

?

胡赵宇

摘要：去年3月，AlphaGo以4：1的绝对优势战胜了世界围棋冠军李世石，排名世界第二。去年年底到今年年初，短短一周内，AlphaGo的升级版Master连胜60场，在围棋界立于不败之地。本文围绕围棋人工智能AlphaGo系统，主要对围棋人工智能的基本概念、工作原理以及围棋人工智能发展意义进行了深刻分析。

关键词：AlphaGo；人工智能；围棋；未来展望

：TP18：A：1671-2064（2017）07-0193-02

1围棋与人工智能

围棋作为中国传统四大艺术之一，拥有着几千年的悠久历史。围棋棋盘由19条横线和19条竖线组成，共有19*19=361个交叉点，围棋子分为黑白两种颜色，对弈双方各执一色，轮流将一枚棋子下在纵横交叉点上，终局时，棋子围上交叉点数目最多的一方获胜。围棋棋盘上每一个纵横交叉点都有三种可能性：落黑子、落白子、留空，所以围棋拥有高达3^361种局面；围棋的每个回合有250种可能，一盘棋可长达150回合，所以围棋的计算复杂度为250^150，约为10^170，然而全宇宙可观测的原子数量只有10^80，这足以体现围棋博弈的复杂性和多变性。

人工智能（ArtificialIntelligence，AI）主要研究人类思维、行动中那些尚未算法化的功能行为，使机器像人的大脑一样思考、行动。长期以来，围棋作为一种智力博弈游戏，以其变化莫测的博弈局面，高度体现了人类的智慧，为人工智能研究提供了一个很好的测试平台，围棋人工智能也是人工智能领域的一个重要挑战。

传统的计算机下棋程序的基本原理，是通过有限步数的搜索树，即采用数学和逻辑推理方法，把每一种可能的路径都走一遍，从中选举出最优路径，使得棋局胜算最大。这种下棋思路是充分发挥计算机运算速度快、运算量大等优势的“暴力搜索法”，是人类在对弈规定的时间限制内无法做到的。但是由于围棋局面数量太大，这样的运算量对于计算机来讲也是相当之大，目前的计算机硬件无法在对弈规定的时间内，使用计算机占绝对优势的“暴力搜索法”完成围棋所有局面的择优，所以这样的下棋思路不适用于围棋对弈。

搜索量巨大的问题一直困扰着围棋人工智能，使其发展停滞不前，直到2006年，蒙特卡罗树搜索的应用出现，才使得围棋人工智能进入了崭新的阶段，现代围棋人工智能的主要算法是基于蒙特卡洛树的优化搜索。

2围棋人工智能基本原理

目前围棋人工智能最杰出的代表，是由谷歌旗下人工智能公司DeepMind创造的AlphaGo围棋人工智能系统。它在与人类顶级围棋棋手的对弈中充分发挥了其搜索和计算的优势，几乎在围棋界立于不败之地。

AlphaGo系统的基本原理是将深度强化学习方法与蒙特卡洛树搜索结合，使用有监督学习策略网络和价值网络，极大减少了搜索空间，即在搜索过程中的计算量，提高了对棋局估计的准确度。

2.1深度强化学习方法

深度学习源于人工神经网络的研究，人类大量的视觉听觉信号的感知处理都是下意识的，是基于大脑皮层神经网络的学习方法，通过模拟大脑皮层推断分析数据的复杂层状网络结构，使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象，其过程类似于人们识别物体标注图片。现如今，应用最广泛的深度学习模型包括：卷积神经网络、深度置信网络、堆栈自编码网络和递归神经网络等。

强化学习源于动物学习、参数扰动自适应控制等理论，通过模拟生物对环境以试错的方式进行交互达到对环境的最优适应的方式，通过不断地反复试验，将变化无常的动态情况与对应动作相匹配。强化学习系统设置状态、动作、状态转移概率和奖赏四个部分，在当前状态下根据策略选择动作，执行该过程并以当前转移概率转移到下一状态，同时接收环境反馈回来的奖赏，最终通过调整策略来最大化累积奖赏。

深度学习具有较强的感知能力，但缺乏一定的决策能力；强化学习具有决策能力，同样对感知问题无能为力。深度强化学习方法是将具有感知能力的深度学习和具有决策能力的强化学习结合起来，优势互补，用深度学习进行感知，从环境中获取目标观测信息，提供当前环境下的状态信息；然后用强化学习进行决策，将当前状态映射到相应动作，基于初期汇报评判动作价值。

深度强化学习为复杂系统的感知决策问题提供了一种全新的解决思路。

2.2蒙特卡洛树搜索

蒙特卡洛树搜索是将蒙特卡洛方法与树搜索相结合形成的一种搜索方法。所谓蒙特卡洛方法是一种以概率统计理论为指导的强化学习方法，它通常解决某些随机事件出现的概率问题，或者是某随机变量的期望值等数字特征问题。通过与环境的交互，从所采集的样本中学习，获得关于决策过程的状态、动作和奖赏的大量数据，最后计算出累积奖赏的平均值。

蒙特卡洛树搜索算法是一种用于解决完美信息博弈（perfectinformationgames，没有任何信息