8.1 卷积神经网络.pptxVIP

卷积神经网络;一维卷积

长度为5，值为[1,2,-1,1,-3]

卷积核大小为3，值为[1,0,-1]

在没有填充的情况下，两端的值无法运算，中间三个值与卷积核的值相加求和

1*1+0*2+(-1)*(-1)=2

1*2+0*(-1)+(-1)*1=1

1*(-1)+0*1+(-1)*(-3)=2;输出维度与输入维度保持一致，需要填充padding

输入长度为5，值为[1,2,-1,1,-3]

卷积核大小为3，值为[1,0,-1];步长：stride

;二维卷积

;二维卷积的padding;步长是2;图像就是像素组成的矩阵，常见有灰度和

彩色图像，彩色是RGB三通道，灰度一个

通道。

对于一个通道来说，每个像素的值是

0-255，0是黑色，255是白色;图像是一个像素的二维矩阵，可以看到不同的卷积后

可以获取到图像不同的特征，卷积的本质是获取图像的特征，

不同的卷积核，获取不同的特征

;ConvNet有四个主要操作：

1.卷积

2.激活/非线性处理（ReLU，Sigmoid，tanh等）

3.池化或者亚采样

4.分类（全连接层）;在神经网络中，激活函数对线性加权结果进行一个非线性的变换，常见的激活函数包括：sigmod函数，tanh函数，ReLU函数，ELU函数，PReLU函数;空间池化（SpatialPooling）（也叫做亚采用或者下采样）降低了各个特征图的维度，但可以保持大部分重要的信息。空间池化有下面几种方式：最大化、平均化、加和等等。

对于最大池化（MaxPooling），定义一个空间邻域（比如，2x2的窗口），并从窗口内的修正特征图中取出最大的元素。除了取最大元素，也可以取平均（AveragePooling）或者对窗口内的元素求和。在实际中，最大池化被证明效果更好一些。

下面的图展示了使用2x2窗口在修正特征图（在卷积+ReLU操作后得到）使用最大池化的例子。

在实际应用中也有先卷积+池化，然后进行激活/非线性操作的，根据实际应用和项目进行实验哪个效果更好。;在下图展示的网络中，池化操作是分开应用到各个特征图的（注意，因为这样的操作，可以从三个输入图中得到三个输出图）。;在ReLU操作后得到的修正特征图的池化操作的效果如下图。

池化函数可以逐渐降低输入表示的空间尺度。特别地，池化还有其他重要功能：

1.使输入表示（特征维度）变得更小，并且网络中的参数和计算的数量更加可控的减小，因此，可以控制过拟合

2.使网络对于输入图像中更小的变化、冗余和变换变得不变性（输入的微小冗余将不会改变池化的输出——因为在局部邻域中使用了最大化/平均值的操作。）

3.帮助获取图像最大程度上的尺度不变性。它非常的强大，因为可以检测图像中的物体，无论它们位置在哪里

;全连接层就是传统的多层感知器/人工神经网络，在输出层使用的是softmax激活函数进行分类。全连接（FullyConnected/FC）这个词表明前面层的所有神经元都与下一层的所有神经元连接，这就是传统神经网络的连接方式。卷积和池化层的输出表示了输入图像的高级特征。全连接层的目的是为了使用这些特征把输入图像基于训练数据集进行分类。;损失函数

均方误差(MeanSquareError,MSE)是最常用的回归损失函数，计算方法是求预测值与真实值之间距离的平方和

对数损失（LogLoss）亦被称为逻辑回归损失（Logisticregressionloss）或交叉熵损失（Cross-entropyloss）,是最常用的分类损失函数