卷积神经网路概要剖析.pptx

卷积神经网络 目录 1.概述 2.核心思想 3.文字识别系统LeNet-5 4.优点 1.概述 卷积神经网络是人工神经网络的一种，已成为当前语音分析和图像识别领域的研究热点。 它的权值共享网络结构使之更类似于生物神经网络，降低了网络模型的复杂度，减少了权值的数量。 该优点在网络的输入是多维图像时表现的更为明显，使图像可以直接作为网络的输入，避免了传统识别算法中复杂的特征提取和数据重建过程。 在CNN中，图像的一小部分（局部感受区域）作为层级结构的最低层的输入，信息再依次传输到不同的层，每层通过一个数字滤波器去获得观测数据的最显著的特征。 这个方法能够获取对平移、缩放和旋转不变的观测数据的显著特征，因为图像的局部感受区域允许神经元或者处理单元可以访问到最基础的特征，例如定向边缘或者角点。 2.核心思想 卷积神经网络通过以下特性来保证图像对位移、缩放、扭曲的鲁棒性： 局部感受野 权值共享 时间/空间亚采样 局部感受野 BP神经网络 全连接 卷积神经网络 局部连接 全连接网络。如果我们有1000x1000像素的图像，有1百万个隐层神经元，每个隐层神经元都连接图像的每一个像素点，就有1000x1000x1000000=10^12个连接，也就是10^12个权值参数。 局部连接网络，每一个节点与上层节点同位置附件10x10的窗口相连接，则1百万个隐层神经元就只有100w乘以100，即10^8个参数。其权值连接个数比原来减少了四个数量级。 权值共享 隐含层的每一个神经元都连接10x10个图像区域，也就是说每一个神经元存在10x10=100个连接权值参数。 如果设定每个神经元这100个参数是相同的，也就是说每个神经元用的是同一个卷积核去卷积图像，参数个数与神经元个数无关。 无论隐层的神经元个数有多少，两层间的连接只有100个参数 隐层的参数个数和隐层的神经元个数无关，只和滤波器的大小和滤波器种类的多少有关。 Feature Map 假如一种滤波器，也就是一种卷积核就是提出图像的一种特征。 提取不同的特征，需要多个滤波器。每种滤波器的参数不一样，表示它提出输入图像的不同特征。这样每种滤波器去卷积图像就得到对图像的不同特征的放映，我们称之为Feature Map。 100种卷积核就有100个Feature Map。这100个Feature Map就组成了一层神经元。 每层参数个数=100种卷积核x每种卷积核共享100个参数=100x100=10K，也就是1万个参数。 隐层神经元个数 隐层的神经元个数和原图像，也就是输入的大小（神经元个数）、滤波器的大小和滤波器在图像中的滑动步长都有关。 例如，图像是1000x1000像素，而滤波器大小是10x10，假设滤波器没有重叠，也就是步长为10，这样隐层的神经元个数就是(1000x1000 )/ (10x10)=100x100个神经元了。 注意：这只是一种滤波器，也就是一个Feature Map的神经元个数如果100个Feature Map就是100倍了。 由此可见，图像越大，神经元个数和需要训练的权值参数个数的差距就越大 网络结构 卷积神经网络含多层； 每层含多个二维Feature Map； 每个Feature Map含多个神经元。 C层为特征提取层，每个神经元的输入与前一层的局部感受野相连，并提取该局部的特征，一旦该局部特征被提取后，它与其他特征间的位置关系也随之确定下来； S层是特征映射层，网络的每个计算层由多个特征映射组成，每个特征映射为一个平面，平面上所有神经元的权值相等。 卷积神经网络中的每一个特征提取层（C-层）都紧跟着一个用来求局部平均与二次提取的计算层（S-层）。 3.文字识别系统LeNet-5 1. 输入图像是32x32的大小，局部滑动窗的大小是5x5的，由于不考虑对图像的边界进行拓展，则滑动窗将有28x28个不同的位置，也就是C1层的大小是28x28。 C1层是一个卷积层（通过卷积运算，可以使原信号特征增强，并且降低噪音），由6个特征图Feature Map构成。特征图中每个神经元与输入中5*5的邻域相连。 C1有156个可训练参数（每个滤波器5*5=25个unit参数和一个bias参数，一共6个滤波器，共(5*5+1)*6=156个参数），共156*(28*28)=122,304个连接。 C1层： 输入图片大小： 32*32 卷积窗大小： 5*5 卷积窗种类： 6 输出特征图数量：6 输出特征图大小： 28*28 (32-5+1) 神经元数量： 4707 [(28*28)*6)] 连接数： 12304 [(5*5+1)*6]*(28*28) 可训练参数： 156 [(5*5+1)*6] 2. S2层是一个下采样层，利用图像局部相关性的原理，对图像进行子抽样，可以减少数据