DeepMind 研发的围棋 AI AlphaGo 系统是如何下棋的？.docx

DeepMind 研发的围棋 AI AlphaGo 系统是如何下棋的？看到了正在进行的圆桌/roundtable/alphago-vs-lee对弈人工智能，想邀请嘉宾来讲讲它的工作原理如何？其中应用了哪些技术？相关问题：/question何评价第二局比赛 AlphaGo 又一次战胜李世石？ - 人工智能2 条评论?分享按投票排序/questionsort=created按时间排序38 个回答879赞同反对，不会显示你的姓名/people/tao-lei-60-5Tao Lei，NLP DNN 炼丹狗/people/yi-yang-4-88yi yang、/people/tony-29-7tony、/people/power-16-78Power?javascript:;等人赞同我来贡献一点干货和八卦~?AlphaGo的第一作者David Silver还在MIT做post-doc的时候(也有可能是visit?)，曾经和我们组师兄合作利用机器学习和蒙特卡罗树搜索玩《文明2》。当时也有不小的轰动：有兴趣的同学可以参考项目主页和论文?/?target=http%3A///rbg/code/civ/[1]/?target=http%3A///media/3484/live-3484-6254-jair.pdf[2]。可以翻墙youtube的同学还可以看到一段游戏视频。作为其他答案的补充，下面浅显地针对性地介绍一下蒙特卡罗树搜索(MCTS)。（***本文图片来源DeepMind和师兄论文）一、为什么要用搜索？由于状态数有限和不存在随机性，象棋和五子棋这类游戏理论上可以由终局自底向上的推算出每一个局面的胜负情况，从而得到最优策略。例如五子棋就被验证为先手必胜?/?target=https%3A///wiki/%25E4%25BA%2594%25E5%25AD%2590%25E6%25A3%258B%23.E6.95.B0.E5.AD.A6.E5.88.86.E6.9E.90[3]?。遗憾的是，由于大部分博弈游戏状态空间巨大（围棋约为)，严格计算评估函数是办不到的。于是人们设计了?(启发式的) 搜索算法，一句话概括如下：由当前局面开始，尝试看起来可靠的行动，达到终局或一定步数后停止，根据后续局面的优劣反馈，选择最优行动。通俗的说就是“手下一着子，心想三步棋”、“三思而后行”的意思。二、哪些是“看起来可靠”的行动？怎么评价局面的优劣？这里就要引入游戏论和强化学习里面的概念了。在数学上，“最优策略”和“局面判断”可以被量化成为函数，。这里表示局面状态，表示下一步（走子）行动。在强化学习里，两者被称为 策略函数(policy function) 和 局面函数(value function)，前者衡量在局面下执行能带来的价值，后者衡量某一局面的价值，越大的值表示对当前行动的选手越有利。Q和V函数是对我们所谓的“棋感”和“大局观”的量化。有了这两个估值函数，在搜索的时候我们尽量选择估值更大的行动，达到缩小思考范围（减少搜索分支）的目的。同时即使在未达到终局的情况下，我们也可以依靠局面函数对当前局势优劣做判断。那么如何得到精确的估值函数就很重要了。由于不能通过枚举状态空间来精确计算Q和V，传统的做法是人为的设计估值。例如五子棋的局面可以依靠计算“三连”、“四连”等特征的数量乘以相应的分值来估算。这里就涉及到识别特征和衡量特征分值两个问题。对于更加复杂的游戏（例如文明、围棋等），现代的做法是利用机器学习和大量数据，自动的找到特征，同时拟合出估值函数。AlphaGo利用深度学习达到了该目的。三、蒙特卡洛树搜索(MCTS)蒙特卡洛树搜索是集以上技术于一身的搜索框架，通过反复模拟和采样对局过程(称为Rollout)来探索状态空间。可以看出它的特点是非常容易并行、可任何时候停止(时间和收益上的平衡)、引入了随机性采样而减小估值错误带来的负面影响，并且可以在随机探索的过程中，结合强化学习(Reinforcement Learning)，“自学”式的调整估值函数，让算法越来越聪明。直观一点的图示如下：(a) 从当前状态(带有随机性)的模拟对局，该过程可以并行：(b) 通过采样和估值结果，选择最优行动，并重复执行这个过程：(c) 如果选择强化学习，则根据结果更新估值函数的参数有兴趣的同学可以阅读AlphaGo或其他相关论文。四、总结AlphaGo结合了3大块技术：先进的搜索算法、机器学习算法(即强化学习)，以及深度神经网络。这三者的关系大致可以理解为：蒙特卡洛树搜索 (MCTS) 是大框架，是许多牛逼博弈AI都会采用的算法强化学习 (RL) 是学习方法，用来提升AI的实力深度神经网络 (DNN) 是工具，用来拟合局面评估函数和策略