AlphaGo小白人工智能之路.pptxVIP

小白的人工智能之路;在接下来的一个小时中，你将会……;AlphaGo Human or AI？;AlphaGo 战绩;AlphaGo 家族AlphaGo → AlphaGo Zero → Alpha Zero;AlphaGo 家族有多可怕？！;AlphaGo 家族有多可怕？！;版本;AlphaGo 走下神坛;博弈树;名称;围棋的状态复杂度为10170;这个规模十分可怕！;先从蒙特卡罗方法开始： 假设我们要计算一个不规则图形的面积。蒙特卡罗方法基于这样的思想：假想你有一袋豆子，把豆子均匀地朝这个图形上撒，然后数这个图形之中有多少颗豆子，这个豆子的数目就是图形的面积。当你的豆子越小，撒的越多的时候，结果就越精确。 ;AlphaGo ——什么是蒙特卡罗树搜索(MCTS)？;AlphaGo —— 什么是蒙特卡罗树搜索(MCTS)？;图：一棵蒙特卡罗树;AlphaGo —— 什么是蒙特卡罗树搜索(MCTS)？;蒙特卡罗树搜索的一次迭代;模拟(Simulation)：对于一个节点，多次随机模拟博弈直到决出胜??。用频率代替概率，估算这个子节点的价值 W。 胜: W := W + 1 平: W := W + 0 负: W := W - 1 ;蒙特卡罗树搜索的一次迭代;反向传播(Backpropagation)： 回溯更新父节点到子节点的路径上所有结点的(N, W)值。 ;AlphaGo等算法中，不同于传统MCTS方法的随机模拟博弈，W/N的值由深度神经网络(后述)估算。 选择子结点时，除了N, W以外还需要考虑落子概率P。 AlphaGo中使用人类专业棋手的棋谱数据训练深度神经网络，落子更接近于人的思维。 而AlphaGo Zero和Alpha Zero算法中，在进行多次MCTS迭代后，以(子结点N/父结点N)估算落子概率，再以此训练深度神经网络。;注: 图中Q=W/N, U正相关于P/(N+1) (不同于前述传统MCTS的U） ;深度神经网络可以用函数f(s)表示, s表示当前游戏状态。 函数f(s)有两个输出: P(落子概率)和W(价值)，按下图的方式应用到MCTS的计算中。根据N, W, P的值，进一步选择子结点并迭代。 最初使用传统MCTS随机模拟的估算结果来训练深度神经网络。迭代的次数足够后，用深度神经网络的输出代替随机模拟。 用深度神经网络预测落子概率和价值的方法比传统MCTS的随机模拟速度更快，效果更好。;AlphaGo;AlphaGo —— 什么是深度神经网络？;;走棋网络(Policy Network)的???出是19*19+1维向量，表示在19*19的棋盘上每个位置落子的概率，以及当前走棋方(黑棋/白棋)。 估值网络(Value Network)的输出是范围在[-1, 1]的标量。;AlphaGo等算法的强化学习流程(Reinforcement Learning);AlphaGo等算法的强化学习流程(Reinforcement Learning);AlphaGo等算法的强化学习流程(Reinforcement Learning);实战环节：做自己的井字棋 AI /人机对弈程序;实战：自己动手做井字棋 AI /人机对弈程序;实战：自己动手做井字棋 AI /人机对弈程序;实战：自己动手做井字棋 AI /人机对弈程序;实战：自己动手做井字棋 AI /人机对弈程序;THANKS