计算机视觉PPT课件：图像分类.pptx

;本章结构;图片分类;ILSVRC竞赛;ILSVRC竞赛;ILSVRC竞赛;卷积神经网络（CNN）;CIFAR-10数据集;卷积神经网络（CNN）;CNN结构的演化;AlexNet网络

ImageNet-2012竞赛第一

标志着DNN深度学习革命的开始

5个卷积层+3个全连接层

60M个参数+650K个神经元

2个分组?2个GPU（3GB）

使用两块GTX580GPU训练了5~6天

新技术;;AlexNet网络;AlexNet网络;局部响应归一化(LRN)

LocalResponseNormalization

神经元的侧抑制机制

某个位置（x,y）上沿通道方向上的归一化

n为邻域值，N为通道数

超参数：k=2,n=5,α=0.0001,β=0.75;Network-in-Network网络（NiN）

提高CNN的局部感知区域的非线性;1×1卷积;VGG网络

提出目的是为了探究在大规模图像识别任务中，卷积网络深度对模型精确度有何影响。

一个大卷积核分解成连续多个小卷积核;从左至右每一列代表着深度增加的不同的模型，从上至下代表模型的深度；

其中：conv滤波器大小-通道数

其中E（即VGG19）是较为常见的VGG架构；

随着层数的增加A?E，参数增加的并不是很多;GoogLeNet出现之前，主流的网络结构突破大致是网络更深（层数），网络更宽（神经元数

），但现在看来这纯粹是增大网络的缺点。

GoogLeNet网络

ImageNet-2014竞赛第一

进化顺序

InceptionV1?InceptionV2?InceptionV3?InceptionV4

为了提升性能

减少参数，降低计算

增加宽度、深度;InceptionV1网络

核心组件InceptionArchitecture

Split-Merge?1x1卷积,3x3卷积,5x5卷积,3x3池化

增加网络对多尺度的适应性

增加网络宽度

BottleneckLayer?使用NiN的1x1卷积进行特征降维

大幅降低计算量

取消全连接

参数量大，减负

辅助分类器

解决前几层的梯度消失问题;InceptionV1网络

核心组件InceptionArchitecture（稀疏连接结构）

1*1，3*3，5*5的卷积和3*3的pooling组合在一起

亮点是从NIN中引入了1*1卷积核;;InceptionV1网络

取消全连接层

本质上是一个全尺寸的卷积层

全连接层占用了大量参数

AlexNet:58.6M(6x6x256x4096+4096x4096+4096x1000)

VGG:72M(7x7x256x4096+4096x4096+4096x1000)

由全局平均池化替代（Globalaveragepooling）

输入：7x7x1024

输出：1x1x1024

一大趋势;全局平均池化;InceptionV1网络

2个辅助分类器

深网络中，梯度回传到最初几层，存在严重消失问题

有效加速收敛

测试阶段不使用;GoogLeNet;GoogLeNet;InceptionV2网络

核心组件

BatchNormalization（批归一化）

白化：使每一层的输出都规范化到N(0,1)

解决InternalCovariateShift问题

允许较高学习率

取代部分Dropout

5x5卷积核?2个3x3卷积核;InceptionV2网络;InceptionV2网络

训练阶段?实时计算

测试阶段?使用固定值（对训练求平均）;InceptionV2网络

位置：卷积?BN?ReLU

配对使用scaleshift

添加一组逆算子：scale乘子,bias偏置

这组参数需要学习;InceptionV3网络

核心组件

非对称卷积：

NxN分解成1xN?Nx1

降低参数数量和计算量;InceptionV3网络;InceptionV3网络

高效的降尺寸（Gridsize）

避免表达瓶颈

降尺寸前增加特征通道

2个并行分支;InceptionV3网络

不增加计算量

避免表达瓶颈

增强结构（表达力）

宽度、深度;InceptionV3网络

取消浅层的辅助分类器

完全无用

深层辅助分类器只在训练后期有用

加上BN和Dropout，主分类器Top1性能提升0.4%

正则化作用

用在最后一层17x17后;InceptionV4网络;总结一下Inception;ResNet残差网络;ResNet残差网络

核心组件Skip/shortcutconnection

Plainnet:可以拟合出任意目标映射H(x)

Residualnet

可以拟合