Python机器学习与项目实践- 课件 chap5-卷积神经网络.pptx

卷积神经网络《神经网络与深度学习》XXX大学

全连接前馈神经网络权重矩阵的参数非常多局部不变性特征自然图像中的物体都具有局部不变性特征尺度缩放、平移、旋转等操作不影响其语义信息。全连接前馈网络很难提取这些局部不变特征

全连接前馈神经网络前馈神经网络处理图像信息时存在的下列问题。（1）参数多。假设输入图像的大小为100×100×3（图像高度为100像素，宽度为100像素，以及3个RGB颜色通道）。如果使用前馈神经网络，则第1个隐藏层的每个神经元到输入层有100×100×3=30000个互相独立的连接，每个连接都对应一个权重参数。随着隐藏层神经元数量的增多，参数的规模会急剧增加。这会导致整个网络的训练非常困难，并且容易出现过拟合的情况。（2）局部不变性特征。自然图像中的物体都具有局部不变性特征，如缩放、平移、旋转等操作不影响其语义信息。而前馈神经网络很难提取这些局部不变性特征，一般需要进行数据增强来提高性能。

卷积神经网络卷积神经网络（ConvolutionalNeuralNetworks，CNN）一种前馈神经网络受生物学上感受野（ReceptiveField）的机制而提出的在视觉神经系统中，一个神经元的感受野是指视网膜上的特定区域，只有这个区域内的刺激才能够激活该神经元。卷积神经网络有三个结构上的特性：局部连接权重共享空间或时间上的次采样

卷积神经网络

卷积运算卷积经常用在信号处理中，用于计算信号的延迟累积。假设一个信号发生器每个时刻t产生一个信号xt，其信息的衰减率为wk，即在k?1个时间步长后，信息为原来的wk倍假设w1=1,w2=1/2,w3=1/4时刻t收到的信号yt为当前时刻产生的信息和以前时刻延迟信息的叠加。

卷积运算卷积经常用在信号处理中，用于计算信号的延迟累积。假设一个信号发生器每个时刻t产生一个信号xt，其信息的衰减率为wk，即在k?1个时间步长后，信息为原来的wk倍假设w1=1,w2=1/2,w3=1/4时刻t收到的信号yt为当前时刻产生的信息和以前时刻延迟信息的叠加滤波器（filter）或卷积核（convolutionkernel）

卷积??

卷积不同的滤波器来提取信号序列中的不同特征低频信息高频信息?二阶微分

卷积类型卷积的结果按输出长度不同可以分为三类：窄卷积：步长??=1，两端不补零??=0，卷积后输出长度为n?k+1宽卷积：步长??=1，两端补零??=k?1，卷积后输出长度n+k?1等宽卷积：步长??=1，两端补零??=(k?1)/2，卷积后输出长度n

二维卷积在图像处理中，图像是以二维矩阵的形式输入到神经网络中，因此我们需要二维卷积。

二维卷积在图像处理中，图像是以二维矩阵的形式输入到神经网络中，因此我们需要二维卷积。

二维卷积在图像处理中，图像是以二维矩阵的形式输入到神经网络中，因此我们需要二维卷积。

二维卷积步长1，零填充0步长2，零填充0步长1，零填充1步长2，零填充1

卷积神经网络用卷积层代替全连接层

卷积的变种分组卷积分组卷积（GroupConvolution）：分组卷积首先将输入特征映射为输入特征图进行分组，然后每组分别卷积。

空洞（扩张）卷积空洞卷积是针对图像语义分割问题中下采样会降低图像分辨率、丢失信息而提出的一种卷积方法。示例

多个卷积核?

卷积层的映射关系

步长2filter3*3filter个数6零填充1

卷积层典型的卷积层为3维结构

5.2卷积神经网络结构卷积神经网络（ConvolutionalNeuralNetwork，CNN）是一种具有局部连接、权重共享等特点的深层前馈神经网络（FeedforwardNeuralNetwork，FNN）。它是深度学习（DeepLearning）的代表算法之一。其擅长处理图像，特别是图像识别等相关机器学习问题，在图像分类、目标检测、图像分割等各种视觉任务中都有显著的效果。卷积神经网络是目前应用最广泛的模型之一。

卷积网络结构卷积网络是由卷积层、汇聚层、全连接层交叉堆叠而成。趋向于小卷积、大深度趋向于全卷积典型结构一个卷积块为连续M个卷积层和b个汇聚层（M通常设置为2～5，b为0或1）。一个卷积网络中可以堆叠N个连续的卷积块，然后在接着K个全连接层（N的取值区间比较大，比如1～100或者更大；K一般为0～2）。

5.2.1输入层输入层（InputLayer）主要对原始数据进行初步处理，使卷积神经网络能有更好的效果。有以下几种处理方法。灰度化：图像一般是通过一个三维矩阵存储的，矩阵的大小为(width,height,3)，width是图像的宽度，height是图像的