卷积神经网络研究综述分析.PDF

第40 卷 计 算 机 学 报 Vol. 40 2017 年 论文在线出版号 No.7 月 CHINESE JOURNAL OF COMPUTERS Online Publishing No.7 卷积神经网络研究综述 周飞燕1),2) 金林鹏1),2) 董军1) 1)( 中国科学院苏州纳米技术与纳米仿生研究所, 苏州市 216123) 2)( 中国科学院大学, 北京市 100049) 摘 要 作为一个十余年来快速发展的崭新领域，深度学习受到了越来越多研究者的关注，它在特征提取和模型拟合 上都有着相较于浅层模型显然的优势。深度学习善于从原始输入数据中挖掘越来越抽象的分布式特征表示，而这些表示 具有良好的泛化能力。它解决了过去人工智能中被认为难以解决的一些问题。且随着训练数据集数量的显著增长以及芯 片处理能力的剧增，它在目标检测和计算机视觉、自然语言处理、语音识别和语义分析等领域成效卓然，因此也促进了 人工智能的发展。深度学习是包含多级非线性变换的层级机器学习方法，深层神经网络是目前的主要形式，其神经元间 的连接模式受启发于动物视觉皮层组织，而卷积神经网络则是其中一种经典而广泛应用的网络结构。卷积神经网络的局 部连接、权值共享及池化操作等特性使之可以有效地降低网络的复杂度，减少训练参数的数目，使模型对平移、扭曲、 缩放具有一定程度的不变性，并具有强鲁棒性和容错能力，且也易于训练和优化网络结构。基于这些优越的特性，它在 各种信号和信息处理任务中的性能优于标准的全连接神经网络。本文首先概述了卷积神经网络的发展历史，然后分别描 述了神经元模型、多层感知器的结构。接着，详细分析了卷积神经网络的结构，包括卷积层、取样层、全连接层，它们 发挥着不同的作用。然后，讨论了网中网结构、空间变换网络等改进的卷积神经网络。同时，还分别介绍了卷积神经网 络的监督学习、无监督学习训练方法以及一些常用的开源工具。此外，本文以图像分类、人脸识别、音频检索、心电图 分类及目标检测等为例，对卷积神经网络的应用作了归纳。卷积神经网络与递归神经网络的集成是一个途径。为了给读 者以尽可能多的借鉴，本文还设计并试验了不同参数及不同深度的卷积神经网络以图把握各参数间的相互关系及不同参 数设置对结果的影响。最后，给出了卷积神经网络及其应用中待解决的若干问题。 关键词 卷积神经网络；深度学习；网络结构；训练方法；领域数据 中图法分类号 TP81 论文引用格式： 周飞燕,金林鹏,董军, 卷积神经网络研究综述,2017, Vol.40,在线出版号 No.7 ZHOU Fei-Yan, JIN Lin-Peng, DONG Jun, Review of Convolutional Neural Network, 2017,Vol.40,Online Publishing No.7 Review of Convolutional Neural Network ZHOU Fei-Yan1)2) JIN Lin-Peng1)2) DONG Jun1) 1)(Suzhou Institute of Nano-tech and Nano-bionics, Chinese Academy of Sciences, Suzhou 215123) 2)(University of Chinese Academy of Sciences, Beijing 100049) Abstract As a new and rapidly growing field for more than ten years, deep learning has gained more and more attentions from different researchers. Compared with shallow ar