小组cnn卷积神经网络基本概念和案例讲解.pptxVIP

基于(jīyú)卷积神经网络的股票预测;;;1.1 引例(yǐn lì)-图像边界检测; “卷积”过程：用filter，往原图片上覆盖，对应元素相乘，然后求和。计算一个区域之后，就向其他区域挪动，接着计算，直到把原图片的每一个角落(jiǎoluò)都覆盖到了为止。;? CNN（convolutional neural network），主要就是通过一个个的filter，不断地提取特征，从局部的特征到总体的特征，从而进行图像识别等等(děnɡ děnɡ)功能。 ?每个filter中的各个数字就是参数，可以通过大量的数据，来让机器自己去“学习”这些参数。这就是CNN的基本原理。;;;1.4 CNN基本(jīběn)结构;;1.4.1 卷积层;1.4.1 卷积层;1.4.1 卷积层;1.4.1 卷积层;1.4.1 卷积层;1.4.1 卷积层;1.4.1 卷积层;1.4.1 卷积层;1.4.1 卷积层;1.4.1 卷积层;1.4.1 卷积层;1.4.1 卷积层;1.4.1 卷积层;1.4.2 池化层;1.4.2 池化层;1.4.2 池化层; 全连接层中的每个神经元与其前一层的所有神经元进行全连接。全连接层可以整合卷积层或者池化层中具有类别区分性的局部信息 。为了提升 CNN 网络性能，全连接层每个神经元的激励函数一般采用(cǎiyòng) RELU 函数。最后一层全连接层的输出值被传递给一个输出层，可以采用(cǎiyòng) softmax 逻辑回归进行分类，该层也可称为 softmax 层。 卷积层和池化层的输出代表了输入图像的高级特性，而全连接层的目的就是类别基于训练集用这些特征进行分类, 连接所有的特征，将输出值送给分类器（如 softmax 分类器）。; CNN典型网络;ImageNet图像识别;;2.1 LeNet-5 ;2.1 LeNet-5;2.2 ALexNet;2.2 ALexNet;2.2 ALexNet;2.3 ZFNet;2.3 ZFNet;2.4 VGG Net;2.5 GoogleNet;2.5 GoogleNet;2.5 GoogleNet;2.6 RestNet(残差网络(wǎngluò));2.6 RestNet(残差网络(wǎngluò));2.6 RestNet(残差网络(wǎngluò));;。;;2.卷积层前向传播过程： 我们设定输入为15个神经元的图片(túpiàn)，卷积核为2×2×1的网络，即卷积核的权值为W1，W2，W3，W4。卷积核采用步长为1的卷积方式。;3.池化层前向传播过程： 上一层（卷积层）提取的特征作为输入传到池化层，通过池化层的池化操作，降低数据的维度。池化方式(fāngshì)主要有三种：最大池化、均值池化、随机池化。;4.全连接层的向前传播： 特征图进过卷积层和池化层的特征提取???后(zhīhòu)，将提取出来的特征传到全连接层中，通过全连接层，获得分类模型。;3.3反向(fǎn xiànɡ)传播（BP）;3.DNN反向(fǎn xiànɡ)传播算法：;“反向传播”，也就是从后往前去计算代价J最低时，w,b的取值。通常利用梯度下降算法去一步(yī bù)一步(yī bù)迭代，其中输出层（L层）的梯度如下： 其中表示点乘（内积）。;刚才已经求出了输出层的梯度，我们如何计算(jì suàn)上一层，上上层的梯度？我们推广到任意l层，其中是容易计算(jì suàn)的，关键是对计算(jì suàn)。 我们根据上面两个公式可以得到每一层的梯度，根据迭代次数就可以求出最优的w,b。训练完成。;1.CNN中的反向传播与DNN中的不同点： 1） 池化层在前向传播的时候，对输入进行了压缩. 2） 卷积层是通过张量卷积，或者说若干个矩阵卷积求和而得的当前层的输出， DNN的全连接(liánjiē)层是直接进行矩阵乘法得到当前层的输出.;;3.当某层是池化层时（ δl 已知）： 在前向传播算法时，池化层一般我们会用MAX或者Average对输入进行池化。现在我们反过来要从缩小后的误差δl，还原前一次较大区域对应(duìyìng)的误差。我们首先会把δl的所有子矩阵矩阵大小还原成池化之前的大小。以Average为例，需要把δl的所有子矩阵的各个池化局域的值取平均后放在还原后的子矩阵位置。这个过程一般叫做upsample。;Average举例： 假设我们的池化区域时2*2. δl的第k个子矩阵为： 如果是Average,根据(gēnjù)Average的定义，我们可以得到池化之前的矩阵为左下图：