深度学习卷积神经网络研究概述.doc

龙源期刊网 深度学习卷积神经网络研究概述作者：胡韬来源：《科技视界》2020年第09期 ????????摘 要 ????????卷积神经网络是深度学习算法中一个重要组成部分，在深度学习图像识别技术的应用中起到了关键作用，本文先阐述了卷积神经网络的基本概念和结构，然后介绍和对比了几种经典的卷积神经网络，并论述了发展方向。 ????????关键词 ????????卷积神经网络;输入层;卷积层;全连接层;输出层;AlexNet ????????中图分类号： TP183 ; ; ; ; ; ; ; ; 文献标识码： A ????????DOI：10.19694/ki.issn2095-2457.2020.09.058 ????????1 卷积神经网络的基本概念 ????????卷积神经网络基于传统的人工神经网络，它类似于传统的全连接神经网络，但也有自己的不同之处，卷积神经网络把图片转换成二维矩阵格式的数据，输入数据，网络的各层都以二维矩阵的方式处理数据，这样的数据处理方式适用于二维矩阵格式的数字图像，相较于传统的人工神经网络，它能更快更好地把特征值从图像数据中提取出来。 ????????2 卷积神经网络的基本结构 ????????卷积神经网络的基本结构由以下几个部分组成：输入层（input），卷积层（convolution），池化层（pooling），全连接层（full-connection）和输出层（output），如图1所示。 ????????2.1 输入层 ????????在输入层中，主要进行输入数据处理，有两种常用的方法：去均值：把数据的各个维度均中心化为0。归一化：调整输入数据到相同的范围之间，以避免数据之间的差距过大而造成的干扰。 ????????2.2 卷积层 ????????卷积层中对数据进行卷积运算，卷积运算的主要目的是增强原数据的特征信息，并减少噪音。卷积运算一共有三个步骤： ????????（1）求点积：如图2，将5x5输入矩阵中3x3深蓝色区域中每个元素分别与其对应位置的权值（红色数字）相乘，然后再相加，所得到的值作为3x3输出矩阵（绿色的）的第一个元素。 ????????（2）滑动窗口：如图3，将3x3权值矩阵向右移动一个格（即步长为1）。 ????????（3）重复操作：同样地，将此时深色区域内每个元素分别与对应的权值相乘然后再相加，所得到的值作为输出矩阵的第二个元素;重复上述“求点积-滑动窗口”操作，直至得到输出矩阵所有值。卷积核在2维输入数据上“滑动”，对当前输入部分的元素进行矩阵乘法，然后将结果汇为单个输出像素值，重复这个过程直到遍历整张图像，这个过程就叫作卷积，这个权值矩阵即卷积核，卷积操作后的图像称为特征图。 ????????2.3 池化层 ????????在卷积层之后常常紧接着一个降采样层，主要目的是减小矩阵的长和宽以及减少输入矩阵的参数。计算图像一个区域上的某个特定特征的平均值或最大值，这种聚合操作就叫作池化。常用的池化方法有两种： ????????（1）均值池化：对池化区域内的像素点取均值，这种方法常用于获取背景信息，因为得到的特征数据对背景信息更敏感。 ????????（2）最大池化： 如图4，对池化区域内所有像素点取最大值，这种方法常用于获取纹理特征信息，因为得到的特征数据对纹理特征信息更加敏感。卷積层的作用是获取上一层的局部特征，而池化的作用是合并相似的特征，目的是降维。 ????????2.4 全连接层 ????????类似于传统的神经网络，全连接层的作用是连接所有的神经元，向下一层神经元传递数据，上一层的每个神经元和下一层的神经元都相互连接，因为用到了所有局部特征，所以叫全连接层。全连接层一般跟在所有的卷积层和池化层之后，在输出层之前，对数据进行分类。 ????????2.5 输出层 ????????输出层一般在全连接层之后，输出层通过全连接层的激活函数输出各个图像类别的概率。 ????????2.6 激活函数 ????????激活函数的作用是选择性地对神经元节点进行特征增强或减弱，增强激活有用的目标特征，减弱无用的特征，从而可以解决非线性问题。常见的激活函数有Sigmoid函数、Tanh函数、ReLu函数和Softmax函数等。Sigmoid函数在传统的全连接神经网络中用得较多，ReLu函数和Softmax函数在卷积神经网络中常用。Sigmoid函数的数学模型如下： ????????3 经典卷积神经网络模型 ????????在卷积神经网络发展的历程中，有不少经典卷积神经网络模型有着突出的表现，有的在卷积神经网络的发展历程中有重要意义。 ????????AlexNet是一个经典的卷积神经网络模型，它采用了两种方法了避免过拟合，第一种方法是Dropout，即以一定的概率（比如0