七月在线强化学习一举解开alphago zero的百胜奥秘2019强化学习第5课pg.pptVIP

AlphaGo Zero 七月在线强化学习班 Silver et. al., Mastering the game of Go without human knowledge 纯自我对弈，从随机下棋开始，没有用任何人类棋谱 纯棋盘当前黑白子特征作为输入 用同一个neural network作为policy和value network 采用上述neural network，用Monte Carlo Tree Search来sample move。 算法细节 七月在线强化学习班 神经网络本身输出raw move probabilities Monte Carlo Tree Search (MCTS)可以在它的基础上选出更好的步骤去下棋 用Monte Carlo Tree Search和自己下棋，然后用赢(1)或输(-1)当做value，可以训练一个很好的policy evaluator 更新neural network使得policy更加符合MCTS的策略，value更加符合self-play的结果 Monte Carlo Tree Search 七月在线强化学习班 每一个edge (s, a)会储存先验概率P(s, a), 访问次数N(s, a)和action value Q(s, a). 每一次simulation我们都从当前局面开始，选择Q(s, a) + P(s, a) /