深度学习与计算机视觉实战-卷积神经网络.pptxVIP

卷积神经网络 1 池化层 目录 卷积层 2 全连接层 3 卷积神经网络训练过程 4 卷积神经网络可以认为是一种特征提取的工具，该网络通过模仿人类视觉皮层的感知神经元的结构，将卷积层一层一层地连接，层与层之间采取池化。 池化的作用是对特征进行下采样以降低模型的复杂度。 为了提升模型的非线性拟合能力，池化后的特征值通过激活函数后再次连接卷积层。 每一层有多种滤波器，并且采用权值共享，即单个滤波器的参数被整张图共享，不会因为图像内位置的不同而改变滤波器内的权系数。 滤波器可以看成一个矩阵，并与图像中的每一层做卷积运算，在进行卷积运算前，需要对矩阵初始化。 通过网络训练学习到合理的权值，滤波器的权值共享降低了网络连接的复杂度和过拟合的风险。 而不同层的滤波器负责观测不同的图像特征，如低层观测图像边缘特征，高层观测图像的结构和语义特征。 卷积层 卷积神经网络最早被应用于邮政系统手写数字识别，目的是通过机器识别信件的邮编号码以降低人力工作成本。此后卷积神经网络便没有较大的研究进展，主要受限于硬件水平较低、计算能力不足。 手写数字图像如图所示。 卷积层 近年来，得益于半导体技术的突飞猛进，依赖于大规模并行计算芯片GPU、FPGA、TPU等的深度学习技术也得到了飞速的发展，使得拥有优秀特征提取性能的卷积神经网络在计算机视觉领域得到了广泛的应用。 2012年，克里热夫斯基等人自主设计的卷积神经网络AlexNet在ImageNet国际计算机视觉挑战赛中取得了冠军；如今，卷积神经网络已发展出众多经典模型结构，例如。 2014年由英国牛津大学视觉几何组与DeepMind公司提出的VGGNet和GoogLeNet。 2015年由何恺明等人提出的ResNet。 2017年由霍华德（Howard）等人提出的MobileNet。 2018年提出了通过基于自动机器学习（AutoML）的神经网络架构搜索技术在Inception结构基础上利用机器自动优化参数结构实现的NasNet。 2019年提出了同样基于AutoML的神经网络架构搜索技术实现的EfficientNet。 卷积层 卷积神经网络可以学习图像局部特征，对图像来说，学习的就是在输入图像的二维小窗口中发现的特征，如图所示。 通过卷积神经网络学到的特征具有平移不变性，即当网络学到某个局部特征之后，可在图像的任意位置识别该特征。 卷积层 通过卷积神经网络学到的特征具有平移不变性，即当网络学到某个局部特征之后，可在图像的任意位置识别该特征。 对所示的全连接网络来说，如果特征出现在新的位置，全连接网络只能重新学习该特征。 平移不变性使得卷积神经网络在处理图像时可以高效利用数据，只需要较少的训练样本即可使得网络更具泛化能力，因为在视觉世界中物体本身就存在平移不变性，即物体不随位置的变化发生改变。 卷积层 同时，卷积神经网络可以学习视觉空间层次结构，如下图所示。 第一个卷积层将学习较小的局部模式（比如边缘），第二个卷积层将学习由第一层特征组成的更大的特征，并以此类推，最终得到图片的分类为猫。 由于现实世界具有空间层次结构，使得卷积神经网络可以有效地学习越来越复杂、越来越抽象的视觉概念。 卷积层 卷积神经网络由若干个卷积层、池化层和全连接层构成。 相对于参数复杂的全连接的神经网络，卷积神经网络参数比较少，因此网络的训练变得容易。 卷积神经网络的卷积层中每个神经元与上一层局部相连，很大程度上减少了参数个数。 同一层的连接采用权值共享，又减少了参数个数。 池化层的下采样操作在进一步减少参数个数的同时实现了图像平移不变性，并提高了模型的鲁棒性。 卷积神经网络的基本结构如下图所示。 卷积层 卷积层实现卷积是通过该卷积层中一定数量的卷积核在输入图像或特征图上滑动计算完成的，在滑动过程中卷积核权值与被圈住元素值会进行点乘操作，从而得到该卷积层新的特征图像素值。 其中卷积核的数量决定卷积层输出特征图通道数，卷积核大小决定卷积层输出特征图的感受野，常见的卷积核大小为 、 。 假设使用大小为 的卷积核K对一幅大小为 的二维图像I进行卷积操作，卷积得到的结果可表示为如下式所示。 卷积层 其中 表示卷积核K对一幅大小为 的二维图像I进行卷积操作后得到的图像。 根据卷积运算的交换性原则，可将上式等价写为如下式所示。 使用大小为 的索贝尔（Sobel）滤波器作为卷积核，对大小为 的单通道图像进行卷积操作，得到的输出图像大小为 ，卷积操作过程如下图所示。 卷积层 通常情况下，为了使输入图像和输出图像大小一致，会在进行卷积操作之前，对输入图像进行填充（padding）操作。 padding操作会对输入图像的边界进行补零，得到一个 的图像，