2025神经网络与深度学习卷积神经网络.pptx

卷积神经网络《神经网络与深度学习》2025

全连接前馈神经网络权重矩阵的参数非常多局部不变性特征自然图像中的物体都具有局部不变性特征尺度缩放、平移、旋转等操作不影响其语义信息。全连接前馈网络很难提取这些局部不变特征

卷积神经网络卷积神经网络（ConvolutionalNeuralNetworks，CNN）一种前馈神经网络受生物学上感受野（ReceptiveField）的机制而提出的在视觉神经系统中，一个神经元的感受野是指视网膜上的特定区域，只有这个区域内的刺激才能够激活该神经元。卷积神经网络有三个结构上的特性：局部连接权重共享空间或时间上的次采样

卷积卷积经常用在信号处理中，用于计算信号的延迟累积。假设一个信号发生器每个时刻t产生一个信号xt，其信息的衰减率为wk，即在k?1个时间步长后，信息为原来的wk倍假设w1=1,w2=1/2,w3=1/4时刻t收到的信号yt为当前时刻产生的信息和以前时刻延迟信息的叠加。

卷积卷积经常用在信号处理中，用于计算信号的延迟累积。假设一个信号发生器每个时刻t产生一个信号xt，其信息的衰减率为wk，即在k?1个时间步长后，信息为原来的wk倍假设w1=1,w2=1/2,w3=1/4时刻t收到的信号yt为当前时刻产生的信息和以前时刻延迟信息的叠加滤波器（filter）或卷积核（convolutionkernel）

卷积?Filter:[-1,0,1]?

卷积不同的滤波器来提取信号序列中的不同特征低频信息高频信息?二阶微分

卷积扩展引入滤波器的滑动步长S和零填充P

卷积类型卷积的结果按输出长度不同可以分为三类：窄卷积：步长??=1，两端不补零??=0，卷积后输出长度为?????+1宽卷积：步长??=1，两端补零??=???1，卷积后输出长度??+???1等宽卷积：步长??=1，两端补零??=(???1)/2，卷积后输出长度??在早期的文献中，卷积一般默认为窄卷积。而目前的文献中，卷积一般默认为等宽卷积。

两维卷积在图像处理中，图像是以二维矩阵的形式输入到神经网络中，因此我们需要二维卷积。

卷积作为特征提取器

二维卷积步长1，零填充0步长2，零填充0步长1，零填充1步长2，零填充1

卷积神经网络用卷积层代替全连接层

互相关计算卷积需要进行卷积核翻转。卷积操作的目标：提取特征。翻转是不必要的！互相关除非特别声明，卷积一般指“互相关”。

多个卷积核?

卷积层的映射关系

步长2filter3*3filter个数6零填充1

卷积层典型的卷积层为3维结构

汇聚层卷积层虽然可以显著减少连接的个数，但是每一个特征映射的神经元个数并没有显著减少。

卷积网络结构卷积网络是由卷积层、汇聚层、全连接层交叉堆叠而成。趋向于小卷积、大深度趋向于全卷积典型结构一个卷积块为连续M个卷积层和b个汇聚层（M通常设置为2～5，b为0或1）。一个卷积网络中可以堆叠N个连续的卷积块，然后在接着K个全连接层（N的取值区间比较大，比如1～100或者更大；K一般为0～2）。

表示学习

表示学习

其它卷积种类

转置卷积/微步卷积低维特征映射到高维特征

如何增加输出单元的感受野增加卷积核的大小增加层数来实现在卷积之前进行汇聚操作空洞卷积通过给卷积核插入“空洞”来变相地增加其大小。空洞卷积

典型的卷积网络

LeNet-5LeNet-5是一个非常成功的神经网络模型。基于LeNet-5的手写数字识别系统在90年代被美国很多银行使用，用来识别支票上面的手写数字。LeNet-5共有7层。需要多少个卷积核？

LargeScaleVisualRecognitionChallenge

AlexNet2012ILSVRCwinner（top5errorof16%comparedtorunner-upwith26%error）第一个现代深度卷积网络模型首次使用了很多现代深度卷积网络的一些技术方法使用GPU进行并行训练，采用了ReLU作为非线性激活函数，使用Dropout防止过拟合，使用数据增强5个卷积层、3个汇聚层和3个全连接层

Inception网络2014ILSVRCwinner（22层）参数：GoogLeNet：4MVSAlexNet：60M错误率：6.7%Inception网络是由有多个inception模块和少量的汇聚层堆叠而成。

Inception模块v1在卷积网络中，如何设置卷积层的卷积核大小是一个十分关键的问题。在Inception网络中，一个卷积层包含多个不同大小的卷积操作，称为Inception模块。Inception模块同时使用1