深度学习第2章 卷积神经网络.pptxVIP

第二章卷积神经网络徐俊刚深度学习

卷积神经网络的起源与发展1卷积神经网络的基本结构2卷积神经网络的训练3典型卷积神经网络45目录Contents中英文术语对照7卷积神经网络的主要应用6本章人物

卷积神经网络的起源与发展1

卷积神经网络的起源4D.H.Hubel（1926-2013）andT.N.Wiesel（1924-）.Receptivefields,binocularinteractionandfunctionalarchitectureinthecat‘svisualcortex.JournalofPhysiology,1962,160(1):106-154.Hubel-Weisel实验（1959年）

卷积神经网络的起源5。简单细胞（SimpleCell）：对光束的位置有反应。复杂细胞（ComplexCell）：对光束的位置和移动有反应。超级复杂细胞（Hyper-complexCell）：对有端点的光束移动有反应。层次关系：通过对光束特征的不断提取和综合实现整个光束的识别。Hubel-Weisel实验（1959年）

卷积神经网络的起源6KunihikoFukushima.Neocognitron:Aself-organizingneuralnetworkmodelforamechanismofpatternrecognitionunaffectedbyshiftinposition.BiologicalCybernetics,1980,36:193–202.福岛邦彦神经认知机（1980年）

卷积神经网络的起源7?神经认知机（1980年）

卷积神经网络的发展

卷积神经网络的基本结构2

卷积神经网络的基本结构10典型的卷积神经网络一般由卷积层（含激活函数）、池化层、全连接层和输出层构成，其中卷积层与池化层一般交替排列，之后接一层或者多层全连接层，最后是输出层。

卷积层11卷积运算卷积运算（Convolution）是数学中的常见运算，分为离散卷积与连续卷积。?

例子：求两个骰子之和为4的概率12

例子：求两个骰子之和为4的概率13??

例子：求两个骰子之和为4的概率14

例子：求两个骰子之和为4的概率15两枚骰子点数加起来为4的概率为：f(1)g(3)+f(2)g(2)+f(3)g(1)写成标准的形式：

卷积公式?16一维连续卷积一维离散卷积

卷积公式二维卷积：17二维连续卷积二维离散卷积

18卷积层???

19卷积层卷积核相当于传统计算机视觉领域中的特征算子，用于提取图像特征。传统的Sobel梯度算子45°方向模板被设计为：

20卷积层数据填充：???p=1s=1

21卷积层在使用PyTorch等深度学习框架时，卷积层有Padding参数，有三种选择：‘Full’、‘Valid’和‘Same’。‘Full’表示需要填充，当卷积核与输入开始接触时进行卷积操作，‘Valid’表示不需要填充，‘Same’表示需要填充并保证输出与输入具有相同的尺寸。

22卷积层步幅：??p=1s=2

23卷积层通道（Channel）：一般指的图像的颜色通道。单通道图像：一般指的灰度图像。多通道图像：一般指的基于RGB的图像，有R、G、B三个通道。特征图（Featuremap）：经卷积和激活函数处理后的图像。

24卷积层单通道卷积：单通道图像的卷积。单卷积核单通道卷积多卷积核单通道卷积

25卷积层多通道卷积：多通道图像的卷积。单卷积核多通道卷积（一般不这样做）多卷积核多通道卷积

26卷积层多通道卷积：多通道图像的卷积。多卷积核多通道卷积（卷积计算）

27卷积层多通道卷积：多通道图像的卷积。多卷积核多通道卷积（求和）

28卷积层多通道卷积：多通道图像的卷积。多卷积核多通道卷积（偏置（bias））

29卷积层CS231N：http://cs231n.github.io/convolutional-networks/多通道卷积

30卷积层卷积层的主要作用浅层卷积层：提取的是图像基本特征，如边缘、方向和纹理等特征。深层卷积层：提取的是图像高阶特征，出现了高层语义模式，如“车轮”、“人脸”等特征。

31卷积层卷积层的主要作用

32卷积层卷积层的主要作用

33激活函数激活函数的引入，增强了人工神经网络的非线性表达能力，从而提高了模型的学习能力。在人工神经网络发展的初期，Sigmoid激活函数起到了十分重要的作用，但随着人工神经网络层数的增加以及反向传播算法的使用，会产生梯度消失问题。在卷积神经网络中，为了缓解梯度消失问题，常用的激活函数有ReLU、PReLU、ERU和Maxout等。

?34激活函数

Sigmoid激活函数存在