《PyTorch与深度学习实战》第3章 PyTorch深度学习基础.pptx

第3章 PyTorch深度学习基础;;1. LeNet5 2. AlexNet 3. VGGNet 4. GoogLeNet 5. ResNet ;1. LeNet5 LeNet5是杨立昆（Yann LeCun）在1998年设计的用于手写数字识别的卷积神经网络，当年大多数银行就是用LeNet5来识别支票上面的手写数字的，是早期卷积神经网络中最有代表性的实验系统之一。LeNet5共有7层（不包括输入层），每层都包含不同数量的训练参数，其网络结构如图所示。 ;2. AlexNet AlexNet于2012年由阿莱克斯·克里泽夫斯基（Alex Krizhevsky），伊尔亚?苏茨克维（Ilya Sutskever）和杰弗里·辛顿（Geoffrey Hinton）等人提出，并赢得了2012届图像识别大赛的冠军，使得CNN成为在图像分类上的核心算法模型。AlexNet网络一共分为11层，含5个卷积层以及3个全连接层，除此之外还有3个池化层。在每一个卷积层中包含了激活函数RELU以及局部响应归一化（LRN）处理，然后经过降采样（池化处理）。其网络结构如图所示。 ;2. AlexNet 图中输入的图片尺寸为256×256，然后对输入的图片进行随机裁剪得到227×227大小的图片，将图片输入进网络中，最后得到1000个分布区间为(0,1)的数的输出，代表输入样本的所属类别的概率。;3. VGGNet VGGNet（Visual Geometry Group）于2014年由牛津大学的凯伦·西蒙扬（Karen Simonyan）和安德鲁·齐瑟曼（Andrew Zisserman）提出，主要特点是“简洁与深度”。简洁是指它的结构一律采用步长（stride）为1的3×3的卷积核（filter），以及步长为2的2×2的最大池化（MaxPooling），深度则是因为VGGNet能够达到19层。 VGGNet一共有6种不同的网络结构，每种结构都含有5组卷积，每组卷积都使用3×3的卷积核，每组卷积后进行一个2×2的最大池化，然后是3个全连接层。VGGNet的示意图如图所示，其中网络结构D就是著名的VGG16，网络结构E就是著名的VGG19。;3. VGGNet VGGNet在训练时，先训练级别A的简单网络，再复用A网络的权重来初始化后面的复杂模型，加快训练收敛的速度。在预测时，VGGNet采用Multi-Scale（多尺幅目标检测）的方法，先将图像的尺寸变换为Q，并将变换后的图片输入卷积网络计算；然后在最后一个卷积层使用滑窗的方式进行分类预测，将不同窗口的分类结果平均，并将不同??寸Q的结果平均后得到最后结果，能够提高图片数据的利用率并提升预测准确率。并且在训练过程中，VGGNet也使用了Multi-Scale的方法做数据增强，将原始图像缩放到不同尺寸S，然后再随机裁切成224×224的图片增加数据量，防止模型过拟合。;4. GoogLeNet GoogLeNet是2014年由克里斯提·鲁布托（Christian Louboutin）提出的一种全新的深度学习网络结构，在这之前的AlexNet、VGG等结构都是通过增大网络的深度（层数）来获得更好的训练效果，但层数的增加会带来很多负作用，如过拟合、梯度消失、梯度爆炸等。网络宽度（inception）则从另一种角度来提升训练结果，能更高效地利用计算资源，在相同的计算量下能提取到更多的特征。GoogLeNet的inception结构如图所示。;5. ResNet 随着层数的增加，CNN的效果会遇到瓶颈，甚至会不增反降。ResNet于2015年由微软亚洲研究院的学者们提出，主要是为了解决这个问题，帮助训练更深的网络。ResNet引入了一个残差块（residual block）的结构，如图所示。;1. 卷积层 2. 池化层 3. 全连接层 4. 归一化层 5. 丢弃层;1. 卷积层 卷积神经网络的卷积层由若干卷积单元组成，反向传播算法会对每个卷积单元的参数做优化处理。卷积运算的目的是提取输入的不同特征，第一层卷积层只能提取一些简单的特征如边缘、线条和角等，后续更深层的网络能从简单特征中迭代提取更为复杂的特征。下面将介绍卷积层的局部连接和权值共享两个基本特性，然后介绍卷积的实现过程。;1. 卷积层 （1）局部连接 局部连接指的是卷积层的节点仅仅和其前一层的部分节点相连接，只用于学习局部特征。局部连接的理念来源于动物视觉的皮层结构，也就是动物视觉的神经元在感知外界物体的过程中起作用的只有一部分神经元。在计算机视觉中，图像中的