深度学习在游戏中的应用

第 42 卷 第 5 期 自 动 化 学 报 Vol. 42, No. 5 2016 年 5 月 ACTA AUTOMATICA SINICA May, 2016 深度学习在游戏中的应用 郭潇逍 1 李 程 2 梅俏竹 1, 2 摘 要 综述了近年来发展迅速的深度学习技术及其在游戏 (或博弈) 中的应用. 深度学习通过多层神经网络来构建端对端的 从输入到输出的非线性映射, 相比传统的机器学习模型有显见的优势. 最近, 深度学习被成功地用于解决强化学习中的策略评 估和策略优化的问题, 并于多种游戏的人工智能取得了突破性的提高. 本文详述了深度学习在常见游戏中的应用. 关键词 深度学习, 博弈, 深度强化学习, 围棋, 人工智能 引用格式 郭潇逍, 李程, 梅俏竹. 深度学习在游戏中的应用. 自动化学报, 2016, 42(5): 676?684 DOI 10.16383/j.aas.2016.y000002 Deep Learning Applied to Games GUO Xiao-Xiao1 LI Cheng2 MEI Qiao-Zhu1, 2 Abstract In this article, we present a survey of recent deep learning techniques and their applications to games. Deep learning aims to learn an end-to-end, non-linear mapping from the input to the output through multi-layer neural networks. Such architecture has several significant advantages as compared to traditional machine learning models. There has been a flurry of recent work on combining deep learning and reinforcement learning to better evaluate and optimize game policies, which has led to significant improvements of artificial intelligence in multiple games. We systematically review the use of deep learning in well-known games. Key words Deep learning, games, deep reinforcement learning, Go, artificial intelligence Citation Guo Xiao-Xiao, Li Cheng, Mei Qiao-Zhu. Deep learning applied to games. Acta Automatica Sinica, 2016, 42(5): 676?684 2016 年是载入人工智能史册的一年. Alphabet (原 Google) 旗下的 DeepMind 公司研发的计算机 围棋程序 AlphaGo 成功地打败了近 15 年来一直被 认为是世界顶尖棋手的李世石九段. 这距 IBM 的深 蓝 (Deep Blue) 程序击败国际象棋棋王卡斯帕罗夫 正好二十年, 也再一次在学术界和民间掀起了人工 智能的热潮. 与深蓝不同的是, AlphaGo 的成功极 大程度上归功于其采用了深度学习的算法. 本文从 一个更广的角度来介绍深度学习在博弈中的应用. 1 深度学习 (Deep Learning) 深度学习是近年来大放异彩的一种机器学习 模式. 其主要的方法是通过训练多层的神经网络 (Neural networks) 以达到更好的学习效果. 常见的 多层网络结构包括多层感知器 (Multilayer percep- tron, MLP)、卷积神经网络 (Convolutional neural network, CNN)和递归神经网络 (Recurrent neural network, RNN) 等. 多层神经网络的理论在 80 年 收稿日期 2016-04-22 录用日期 2016-05-10 Manuscript received April 22, 2016; accepted May 10, 2016 本文责任编委 周志华 Recommended by Associate Editor ZHOU Zhi-Hua 1. 密歇根大学电子工程与计算机系