机器学习简明教程---基于Python语言实现 课件 第9章卷积神经网络.pptx

卷积神经网络《机器学习简明教程》高延增侯跃恩罗志坚机械工业出版社09

本章目标?了解人类视觉系统对CNN的启发?理解CNN算法原理?了解LeNet5、AlexNet、GoogleNet等几种经典的CNN框架上一章使用普通的多层神经网络识别手写数字图像的例子有很多不合理的地方：（1）把图像直接展开成一维向量，会使图像在空间上的关联信息丢失，难以保存图像原有特征；（2）直接展开使得输入层节点过多，导致后续层级的权值过多，这样必然带来学习效率的低下；（3）大量的权值参数使得过拟合风险增加。而卷积神经网络（ConvolutionalNeuralNetworks,CNN）的出现，极大地缓解了这些问题。CNN的处理方式更接近生物神经网络，它是特殊设计的多层神经网络，将卷积、池化运算与神经网络结合，可以充分利用待处理特征的内部关联信息。再加上CNN算法实现中将涉及到的大量矩阵运算可以交给GPU处理，大大提高了运算速度，CNN的这些特性使得它在计算机视觉领域得到广泛应用。基本CNN结构包括输入层、卷积层、池化层、全连接层及输出层。本章首先详细介绍一般CNN算法框架及其各层级实现原理，然后给出几种较常用的CNN模型，最后通过一个案例演示CNN如何用于解决实际问题。

目录/Contents9.19.2人类视觉系统的启发CNN算法原理9.3CNN应用

9.1人类视觉系统的启发增加神经网络的层数和节点数可以拟合更加复杂的函数，含多个隐藏层的神经网络被称为深度神经网络，深度学习就是在深度神经网络上发展而来的。而卷积神经网络又属于深度学习算法中的一种，卷积神经网络在实际应用中又有多种具体的类型。深度学习、卷积神经网络（CNN）在人工智能中的地位如下图：CNN与人工智能的关系相对于普通的多层网络，卷积神经网络在将待识别目标给到全连接网络之前先经过了卷积层和池化层的处理，而这个设计模拟了生物大脑皮层对视觉信号的处理过程。

9.1人类视觉系统的启发——人类视觉系统1962年，DavidHubel和TorstenWiesel就通过对猫的视觉皮层细胞的研究发现了视觉系统的分层级信息处理机制，并因此获得了1981年的诺贝尔医学奖。而灵长类动物（包括人类）的视觉系统更为复杂，其多层级、递进的视觉信号处理机制对卷积神经网络的发明有重要启发作用。人的视觉系统主要包括眼睛（主要指视网膜retina）、外侧膝状体（简称外膝体LateralGeniculateNucleus，LGN）以及视皮层（cortex，包括初级视皮层以及纹外皮层）三部分。视网膜是人类视觉系统获取外部光学信号的第一站，主要负责将光信号转换成电信号并进行简单预处理后传递给后方的脑区。外膝体是中转站，将视网膜传过来的信号分门别类后传递给后面的视皮层（视觉系统的中央处理器）。视皮层主要包括初级视皮层（又称作纹状皮层或视觉第一区域，即V1）和纹外皮层（例如视觉第二、第三、第四、第五区域等，即V2、V3、V4、V5），各个区域提取视觉信息的侧重点不同，如方向、方位、颜色、空间频率等信息分别由不同的视皮层区域重点处理。人类视觉系统进行信息识别提取的流程概括为下图：

9.1人类视觉系统的启发——人类视觉系统把视网膜上的细胞看作像素，外界的视觉刺激首先组成视网膜色谱图，经过LGN以后依次来到大脑皮层的V1、V2、V4、IT区域；然后每个区域与视网膜形成不同的区域对应特性，对输入信号的表征空间也逐步发生变化，人们也就是由此进行的划分，从而可以把视觉系统看作是一个深度分层网络。另外，从V1层开始的视觉层都具有前馈和反馈功能。

9.1人类视觉系统的启发——卷积（9.1）??（9.2）

9.1人类视觉系统的启发——卷积卷积运算是对生活、科研中一些现象的符号化抽象以记英语单词为例，假设一个学生每隔一段时间可以记住一个单词，随时间推移记住的单词会越来越多；但是，时间长了，单词也会逐渐忘记。那一段时间内，这个学生总共能记住多少单词呢？?没有遗忘的记忆曲线?（9.3）

9.1人类视觉系统的启发——卷积以记英语单词为例，假设一个学生每隔一段时间可以记住一个单词，随时间推移记住的单词会越来越多；但是，时间长了，单词也会逐渐忘记。那一段时间内，这个学生总共能记住多少单词呢？?遗忘曲线??

9.1人类视觉系统的启发——卷积以记英语单词为例，假设一个学生每隔一段时间可以记住一个单词，随时间推移记住的单词会越来越多；但是，时间长了，单词也会逐渐忘记。那一段时间内，这个学生总共能记住多少单词呢？下图为卷积运算示意，从图中可以看成，如果学生不复习，那他再怎么努力能记住的单词总数也是有限的卷积是瞬时行为的持续性后果。而两个函数的卷积运算，计算方法就是先将一个函数翻转，然后进行滑动叠加。也可以将卷积运算理