深度学习应用开发 第4章 神经网络.pptVIP

********************************************************************************************************************************************************************************************1GoogLeNet简介1GoogLeNet简介GoogLeNet也称为Inceptionv1，是2014年ImageNet挑战赛冠军模型；GoogLeNet尝试了新颖的网络结构设计，网络层数为22层，参数量比AlexNet和VGG小很多；GoogLeNet是用Inceptionmodule堆叠起来的，该网络的设计同时考虑了模型的精度和计算成本。2Inceptionmodule结构2Inceptionmodule结构4组平行的特征抽取方式，分别为1×1、3×3、5×5的卷积层和3×3的最大池化层；进行3×3、5×5的卷积之前、3×3的最大池化层之后，进行一次1×1的卷积来减少特征映射的深度。3GoogLeNet创新点3GoogLeNet创新点拆分卷积核的思想，可以降低参数量，减轻过拟合，增加网络非线性的表达能力；InceptionModule模块，用多个分支提取不同抽象程度的高阶特征的思路很有效，可以丰富网络的表达能力。这些InceptionModule的结构只在网络的后面出现，前面还是普通的卷积层；卷积网络从输入到输出，应该让图片尺寸逐渐减小，输出通道数逐渐增加，即让空间结构简化，将空间信息转化为高阶抽象的特征信息；去除了最后的全连接层，用1*1卷积来取代，这样大大减少了参数量，并且减轻了过拟合。目录1ResNet介绍01任务残差网络结构02任务ResNet创新点04任务BatchNormalization03任务1ResNet介绍1ResNet介绍ResNet网络残差网络是由来自MicrosoftResearch的4位学者提出的卷积神经网络，在2015年的ILSVRC中获得了图像分类和物体识别的冠军。残差网络的特点是容易优化，并且能够通过增加相当的深度来提高准确率。其内部的残差块使用了跳跃连接，缓解了在深度神经网络中增加深度带来的梯度消失问题。2残差网络结构2残差网络结构ResNet提出的动机：加深网络的深度能够提高分类和识别的精度，自然地，我们会认为网络设计的越深越好，但是事实上却不是这样，常规的网络的堆叠(plainnetwork)在网络很深的时候，效果却越来越差了。这里其中的原因之一即是网络越深，梯度消失的现象就越来越明显，网络的训练效果也不会很好。但是现在浅层的网络又无法明显提升网络的识别效果了，所以现在要解决的问题就是怎样在加深网络的情况下又解决梯度消失的问题。2残差网络结构ResNet引入了残差网络结构(residualnetwork)，残差网络堆叠形成的深层网络可以很好地解决梯度消失问题，使更深的网络训练效果也更好。目前网络的深度达到了1000多层，最终的网络分类的效果也是非常好，2残差网络结构残差网络的作用：普通的直连的卷积网络和ResNet的最大区别在于，ResNet有很多旁路的支线将输入直接连接到后面的层，使得后面的层可以直接学习残差，这种结构也被称为shortcut或者skipconnections。传统的卷积层或全连接层在传递信息时，或多或少会存在信息的丢失，损耗等问题。ResNet在某种程度上解决了这个问题，通过直接将输入信息绕道传到输出，保护信息的完整性，整个网络只需要学习输入，输出差别的那一部分，简化了学习目标和难度。残差网络结构3BatchNormalization3BatchNormalizationBatchNormalization（BN），批标准化，是谷歌于2015年提出的深度学习领域经典算法，该算法目前已经被大量的应用。BN和普通的数据标准化类似，是将分散的数据统一的一种做法，也是优化神经网络的一种方法。BN的优点是：可以选择比较大的初始学习率，加快网络的收敛。减