读论文深入浅出解析alphagozero的技术和应用.pdf

2017 年 10 月20 日 计算机行业 读论文、深入浅出解析 AlphaGo Zero 的技术和应用 ——人工智能系列报告 行业专题研究  DeepMind 在 《Nature》上公布最新版AlphaGo 推荐 （维持评级 ） 10 月 18 日，DeepMind 在《Nature》上公布了他们最新版AlphaGo 论文，介绍了迄今最强最新的版本AlphaGo Zero ，使用纯强化学习，将价 分析师 值网络和策略网络整合为一个架构，3 天训练后就以100 比0 击败了上一版 田杰华 (执业证书编号：S0280517050001) 本的AlphaGo 。（消息来源：新智元） tianjiehua@  AlphaGo Zero 主要算法原理：强化学习、蒙特卡洛树、神经网络 联系人 左右互博，AlphaGo 自我博弈提升棋力。AlphaGo Zero 在进行了3 天 胡文超 的自我训练后，在100 局比赛中以100：0 击败了上一版本的 AlphaGo—— huwenchao@ 而上一版本的 AlphaGo Lee 击败了曾18 次获得围棋世界冠军的韩国九段 棋士李世乭。经过 40 天的自我训练后，AlphaGo Zero 变得更加强大，超 戴煜立 daiyuli@ 越了‚Master‛版本的 AlphaGo——Master 曾击败世界上最优秀的棋士、 世界第一的柯洁。 行业与指数对比图 无为而无不为，AlphaGo 放弃人类围棋知识。使用了纯强化学习（不 13% 是监督学习），没有借助人类样本标注。AlphaGo Zero 没有再利用人类历史 7% 1% 棋局，训练过程从完全随机开始，AlphaGo Zero 是在双方博弈训练过程中 -5% -11% 尝试解决对人类标注样本的依赖，以前其他版本的AlphaGo ，都经过人类知 -17% -23% 识的训练，它们被告知人类高手如何下棋。而最新发布的AlphaGo Zero 使 2016/10 2017/01 2017/04 2017/07 2017/10 用了更多原理和算法，从0 开始，使用随机招式，40 天后成为围棋界的绝 计算机 沪深300 世高手。 相关研报 AlphaGo Zero 使用了神经网络、蒙特卡洛树和强化学习，使围棋趋近 Intel 发布神经网络芯片，AI 芯片领域进 入战国时代 最优解。由于暴力枚举算法的不可行，前几代AlphaGo 采用了卷积神经网 2017-