机器学习课件 卷积神经网络.ppt

卷积神经网络 卷积神经网络的基本介绍 1.是什么 2.为什么会有CNN 3.核心思想 CNN是一种带有卷积结构的深度神经网络，通常至少有两个非线性可训练的卷积层，两个非线性的固定卷积层（又叫Pooling Laye）和一个全连接层，一共至少5个隐含层。 是什么？ 为什么？ 浅层神经网络存在缺陷（BP,一层隐层节点的SVM，Boosting，及没有隐层节点的最大熵方法（例如LR，Logistic Regression）等)在有限样本和计算单元情况下对复杂函数的表示能力有限，针对复杂分类问题其泛化能力受到一定的制约。 BP算法，通过梯度下降方法在训练过程中修正权重使得网络误差最小）在层次深的情况下性能变得很不理想（传播时容易出现所谓的梯度弥散Gradient Diffusion或称之为梯度消失，根源在于非凸目标代价函数导致求解陷入局部最优，且这种情况随着网络层数的增加而更加严重，即随着梯度的逐层不断消散导致其对网络权重调整的作用越来越小），所以只能转而处理浅层结构（小于等于3），从而限制了性能。 卷积神经网络的这种结构层次符合人的视觉分层的理论，人的视觉对目标的辨识是分层的，低层会提取一些边缘特征，然后高一些层次进行形状或目标的认知，更高层的会分析一些运动和行为。也就是说高层的特征是低层特征的组合，从低层到高层的特征表示越来越抽象，越来越能表现语义或者意图。而抽象层面越高，存在的可能猜测就越少，就越利于分类 核心思想： 1.局部感知 2.权值共享 3.空间采样 局部感知 权重共享 总之，卷积网络的核心思想是将：局部感知、权值共享、以及时间或空间亚采样这三种结构思想结合起来获得了某种程度的位移、尺度、形变不变性。 卷积神经网络的结构： 文字识别系统：?LeNet-5（共7层） 输入层 ：32*32像素大小的输入图像 * Feature extraction layer or Convolution layer features detect the same feature at different positions in the input image. * Feature extraction w13 w12 w11 w23 w22 w21 w33 w32 w31 1 0 -1 1 0 -1 1 0 -1 Convolve with Threshold w13 w12 w11 w23 w22 w21 w33 w32 w31 第二层采样层S2 输入：6个C1层的28*28的map 输出：S2层6个14*14的map 注意1：输出的时候需经过一个sigmoid 注意2：采样过程也可以看成一个卷积 第四层：采样层S4 输出5*5的16个map 第五层：卷积层C5 输入：S4层16个5*5的图像和120个5*5的卷积核 输出：120个数字 第6层：隐层 第7层：输出层 全连接层 卷积神经网络权值的调整 卷积神经网络 下一层为采样层的卷积层的残差 卷积神经网络 卷积神经网络 下一层为卷积层的采样层的残差 * LeNet5 About 187,000 connection. About 14,000 trainable weight. * LeNet5 * LeNet5 * * PPT模板下载：/moban/ CNN 卷积神经网络介绍 知识回顾（BP神经网络+卷积） 卷积神经网络的基本介绍 卷积神经网络的结构 CNN权重调节 1 2 3 4 知识回顾：BP神经网络 从隐藏层到输出层实际上就是一个softmax分类器 知识回顾：卷积 卷积运算示例 图像 卷积核 0.4 0.2 0.2 0.1 卷积运算示例 图像 卷积核 0.4 0.2 0.2 0.1 卷积运算示例 图像 卷积核 0.4 0.2 0.2 0.1 卷积运算示例 图像 卷积核 0.4 0.2 0.2 0.1 卷积运算示例 图像 卷积核 0.4 0.2 0.2 0.1 卷积运算示例 图像 卷积核 0.4 0.2 0.2 0.1 卷积运算示例 图像 卷积核 0.4 0.2 0.2 0.1 卷积运算示例 图像 卷积核 0.4 0.2 0.2 0.1 卷积运算示例 图像 卷积核 0.4 0.2 0.2 0.1 卷积运算示例 图像 卷积核 0.4 0.2 0.2 0.1 用同一个卷积核对图像的每一个像素进行卷积运算，可以得到与原图像同等大小的特征图。 水平梯度的卷积算子 竖直梯度的卷积算子 卷积提取图像特征 PPT模板下载：/moban/ * *