从alphago的成功说起-文因互联.pdfVIP

动态 第 13 卷  第3 期  2017 年 3 月 从AlphaGo的成功说起 张梦迪　郑锦光　张　强　鲍　捷 关键词 ： AlphaGo　基本原理　人机对抗 北京文因互联科技有限公司 AlphaGo的基本原理 略。在数学上，就是估计一个在各个合法位置上下 子获胜可能性的概率分布。因为有些下法的获胜概 继AlphaGo 于2015 年8 月以5:0 战胜三届欧洲 率很低，可忽略，所以用策略评估就可以消减搜索 冠军樊麾、2016 年3 月以4:1 击败世界顶级棋手李 树的宽度。 世石后，今年1 月，AlphGo 的升级版本Master 横扫 更通俗地说，所谓 “价值”就是能看懂棋局， 各路高手，取得60:0 的惊人战绩。20 年前IBM 深 一眼就能判断某给定棋局是不是能赢，这是个偏宏 蓝(Deep Blue) 计算机击败国际象棋冠军卡斯帕罗夫 观的评估。所谓的 “策略”，是指在每一步博弈时， 的情景还历历在目，短短2 年时间，人工智能在围 各种选择的取舍，这是个偏微观的评估。Alph aGo 棋领域又创造了人机对抗历史上的新里程碑。 利用模拟棋手、强化自我的方法，在宏观 （价值评估） [1] 根据谷歌DeepMind 团队发表的论文 ，我们 和微观 （策略评估）两个方面提高了探索的效率。 可以窥探到AlphaGo 的基本设计思路。任何完全信 在具体算法上，Alph aGo 用深度卷积神经网络 息博弈都无非是一种搜索。搜索的复杂度取决于搜 (CNN) 来训练价值网络和策略网络。棋盘规模是 索空间的宽度 （每步的选择多寡）和深度 （博弈的 (19 ×19) ，棋盘每个位置编码48 种经验特征。把这 步数）。对于围棋，宽度约为250 ，深度约为150 。 些特征输入模型进行训练，经过层层卷积，更多隐 AlphaGo 用价值网络(value network) 消减深度，用 含特征会被利用。 策略网络(policy network) 消减宽度，从而极大地缩 基于类似的卷积神经网络结构，Alph aGo 先做 小了搜索范围。 策略学习 （学习如何下子），再做价值学习 （学习 所谓价值网络 ，是用一个 “价值”数来评估当 评估局面）。策略学习也分为两步。第一步是有监 前的棋局。如果我们把棋局上所有棋子的位置总和 督学习，即 “打谱”，学习既往的人类棋谱。第二 称为一个 “状态”，每个状态可能允许若干不同的 步是强化学习，即 “左右互搏”，通过程序的自我 后续状态。所有可能状态的前后次序关系就构成了 博弈来发现能提高胜率的策略 （见图1 ）。 所谓的搜索树。一个暴力的搜索算法会遍历这个搜 先说 “ ”（有监督学习）。AlphaGo 学习了 打谱 索树的每一个子树。但是，其实有些状态是较容易 KGS 网站上3000 万个落子位置。它先随机选择落 判断输赢的，也就是评估其 “价值”。我们把这些 子位置，利用既往的棋谱来 “训练”，试图预测人类 状态用价值表示，就可以据此省略了对它所有后续 最可能在什么位置落子。如果仅用落子历史和位置 状态的探索，即利用价值网络削减搜索深度。 信息，Alph aGo 的预测成功率是55.7%。如果加上 所谓策略 ，是指在给定棋局，评估每一种应对 其他特征，预测成功率可以进一步提高到57%。在 可能的胜率，从而根据当前盘面状态来选择走棋策 数学上，打谱是用一种梯度下降算法训练模型。给 76 第 13 卷  第3 期  2017