深度学习--课件--第五章-卷积神经网络.pptxVIP

第五章　卷积神经网络5.1 卷积神经网络的生物机理 5.2 卷积神经网络的原理和结构5.4 池化层5.5 激活函数《深度学习》of7515.6 空间批量归一化5.7 全连接层5.8 典型的卷积神经网络5.3 卷积层5.9 全卷积神经网络5.10 图神经网络 5.1 卷积神经网络的生物机理第五章　卷积神经网络of752卷积神经网络是基于神经科学的“感受野”（receptive field）这个概念而提出。感受野（receptive field）具有局部响应的性质，该特性表明生物视觉神经系统中的神经元只对一定范围内的刺激信号产生响应。视觉皮层对于图像信息的处理都是经过这种局部感受野特性（空间局部性、空间方向性、信息选择性）来进行生物响应的。神经网络中卷积层的设计用于模拟视觉皮层中简单细胞的活动。复杂细胞的一系列不变性则启发了卷积神经网络中池化单元、跨通道池化策略（如maxout单元）等的设计。 《深度学习》of753第五章　卷积神经网络5.2 卷积神经网络的原理与结构5.4 池化层5.5 激活函数5.6 空间批量归一化5.7 全连接层5.8 典型的卷积神经网络5.3 卷积层5.9 全卷积神经网络5.10 图神经网络5.2 卷积神经网络的生物机理 第五章　卷积神经网络of7545.2 卷积神经网络的原理和结构?图 5?1 典型的分类卷积网络结构 第五章　卷积神经网络of7555.2 卷积神经网络的原理和结构卷积神经网络发展历程 第五章　卷积神经网络5.1 卷积神经网络的生物机理 5.2 卷积神经网络的原理和结构5.4 池化层5.5 激活函数《深度学习》of7565.6 空间批量归一化5.7 全连接层5.8 典型的卷积神经网络5.3 卷积层5.9 全卷积神经网络5.10 图神经网络 第五章　卷积神经网络of7575.3 卷积层 卷积1一维卷积通常用来计算信号处理中信号的延迟累积。此时收到的信号为（卷积）： 第五章　卷积神经网络of7585.3 卷积层 卷积1 二维卷积则通常用于数字图像处理中的特征提取，亦称为特征映射（feature map）。 第五章　卷积神经网络of7595.3 卷积层 卷积1在神经网络应用中，并不将滤波器进行翻转，而是直接将滤波器与图像进行卷积操作。互相关这样的替代方式被称为互相关函数（cross-correlation）或不翻转卷积。还是沿用卷积这个概念。 第五章　卷积神经网络of75105.3 卷积层 卷积的变种2零填充（zero padding）改变卷积核的宽度和输出的大小。零填充的种类分为三种： 有效（valid）卷积 相同（same）卷积 全（full）卷积。 第五章　卷积神经网络of75115.3 卷积层 卷积的变种2?有效卷积 第五章　卷积神经网络of75125.3 卷积层 卷积的变种2相同卷积的实现是在输入图的边界进行零填充，该种卷积方式使每一层的输出不因为卷积运算而改变尺寸大小，零填充的尺寸视卷积核的大小决定。相同卷积 第五章　卷积神经网络of75135.3 卷积层 卷积的变种2?相同卷积 第五章　卷积神经网络of75145.3 卷积层 卷积的其他形式3非共享卷积（称为局部连接层）：仍然采用局部连接的网络层结构，但是权重并不共享，即并不横跨位置来共享参数。平铺卷积：将一组不同的卷积核循环使用于每次的卷积操作中。每次在图像上移动后，就依照一组核的排列顺序循环使用不同的卷积核进行卷积运算，在遍历完所有卷积核之后，第一个卷积核又将参与下一次的卷积运算，如此循环，直到遍历完整个输入。 第五章　卷积神经网络of75155.3 卷积层 卷积的其他形式3转置卷积（transposed convolution），也称作反卷积（deconvolution）：将低维特征映射到高维特征的卷积操作。（a）表示步长为1，没有零填充的二维卷积；（b）表示和其对应的转置卷积，且步长为1，零填充为2。(a) 卷积，s = 1, p = 0 (b) 反卷积，s = 1, p = 2卷积与反卷积只是形式上的转置关系，并不是互为逆运算。 第五章　卷积神经网络of75165.3 卷积层 卷积的其他形式3 空洞卷积（atrous convolutions）称作膨胀卷积（dilated convolution）：卷积形式在不增加参数数量的条件下，扩大输出单元的感受野。膨胀率d=2，卷积核为5 × 5膨胀率d=3，卷积核为7 × 7 第五章　卷积神经网络of75175.3 卷积层 卷积层4卷积层是深度卷积神经网络中重要的组成部分之一，它最主要的作用就是通过卷积操作提取局部区域的图像特征。在每一个卷积层中，往往会有很多个卷积核，不同的卷积核相当于不同的特征提取