《人工智能技术基础》课件 王科俊 第3、4章 卷积神经网络、 循环神经网络.pptx

人工智能技术基础;

;卷积神经网络（ConvolutionalNeuralNetworks,CNN）是一类包含卷积计算且具有深层结构的前馈神经网络。卷积神经网络的研究始于20世纪80~90年代，LeNet-5是最早出现的卷积神经网络；2012年，AlexKrizhevsky等凭借AlexNet得了当年的视觉图像挑战赛，震惊世界。自此之后，各类采用卷积神经网络的算法纷纷成为大规模视觉识别竞赛的优胜算法。如今，卷积神经网络已经成为计算机视觉领域最具有影响力的技术手段。

;1.了解图像基本特点，并掌握卷积神经网络的基本特性；

2.掌握卷积神经网络的基本组成，卷积层、池化层和全连接层的特性；

3.学习常用的几种卷积操作、池化操作以及全连接层的卷积操作，掌握卷积层步长的选择和padding的选择会实现图像语义分割中常用的反卷积和空洞卷积；

4.了解几种经典的卷积神经网络模型LeNet5、AlexNet、VGG、GoogleNet、ResNet、DenseNet和SE-Net。;目录;01;3.1卷积神经网络特性;3.1卷积神经网络特性;3.1卷积神经网络特性;3.1卷积神经网络特性;02;3.2卷积神经网络结构与训练;3.2卷积神经网络结构与训练;1;3.2卷积神经网络结构与训练;3.2卷积神经网络结构与训练;3.2卷积神经网络结构与训练;3.2卷积神经网络结构与训练;3.2卷积神经网络结构与训练;3.2卷积神经网络结构与训练;3.2卷积神经网络结构与训练;03;卷积神经网络经典模型;LeNet-5模型是YannLeCun教授于1998年在论文《Gradient-basedlearningappliedtodocumentrecognition》中提出的，它是第一个成功应用于手写数字识别问题的卷积神经网络。LeNet的最大贡献是：它定义了CNN的基本结构，可称为CNN的鼻祖。自那时起，CNN最基本的架构就定下来了：卷积层、池化层、全连接层。

LeNet-5模型一共有7层，主要有2个卷积层、2个下采样层（池化层）、3个全连接层。;AlexNet是由2012年图像识别大赛冠军获得者辛顿和他的学生亚历克斯·克里热夫斯基（AlexKrizhevsky）设计的，AlexNet的出现也使得CNN成为了图像分类的核心算法模型。其官方提供的数据模型，准确率Top-1达到57.1%,Top-5达到80.2%。这相对于传统的机器学习分类算法而言，已经相当出色。因为是采用两台GPU服务器，所以会看到两路网络。

AlexNet模型共有八??，其中包括5个卷积层和3个全连接层，每一个卷积层中都包含了ReLU激活函数和局部相应归一化（LocalResponseNormalization，LRN）处理。;VGGNet是VisualGeometryGroup的缩写，是由牛津大学计算机视觉组合和谷歌DeepMind公司研究员一起研发的深度卷积神经网络。VGGNet和GoogleNet同在2014年参赛，图像分类任务中GoogLeNet第一，VGG第二，它们都是十分有意义的网络结构。

VGGNet的提出，证明了用尺寸很小的卷积（3×3）来增加网络深度能够有效提升模型的效果，且此网络对其他数据集有较好的泛化能力，同时证明了增加网络的深度能够在一定程度上提升网络最终的性能。VGGNet有两种结构，分别是VGG16和VGG19，两者除了网络深度不一样，其本质并没有什么区别。其中VGG16是最常用的。;LeNet-5、AlexNet、VGGNet属于早期的网络结构。它们都是通过加深网络、修改卷积核大小等手段来提升性能。虽然这三个网络模型的性能有所提高，但是网络的结构仍然是卷积-池化串联的方式。

通过增加网络层数的方式虽然在一定程度上能够增强模型的性能，但是当网络的层数已经很多时，继续增加网络层数，并不能提高模型性能。因此Inception-block、ResNet-block、DenseNet-block、SE-block等模块的提出在一定程度上避免了这种问题，通过模块与模块的不断堆叠组成了Inception、ResNet、DenseNet等经典网络。

本节主要介绍Inception-block、ResNet-block、DenseNet-block、SE-block等模块的基本结构。;1.Inception-block

Inception网络在ILSVRC14中达到了当时最好的分类和检测性能。这个架构的主要特点是能够更好地利用网络内部的计算资源。

;1.Inception-block

Inception网络在ILSVRC14中达到了当时最好的分类和检测性能。这个架构的主要特点是能够更好地利用网络内部的