基于BP神经网络的手写数字识别.pptx

;文献来源： Y. Le Cun, B. Boser, J. S. Denker, R. E. Howard, W. Habbard, L. D. Jackel, and D. Henderson. Handwritten digit recognition with a back-propagation network. In Advances in neural information processing systems 2, 1989; 本文使用BP网络进行手写数字识别，与以往将特征向量作为输入不同，该网络直接将图像作为输入，说明BP网络具有处理大量低级信息（low level information）的能力.早前对简单数字图像的工作说明网络结构极大地影响了网络泛化能力。良好的泛化能力可通过在网络设计过程中引入先验知识得到。一个基本设计原则是减少自由参数（free parameters）,而不用过度减少网络的计算能力。另一方面，要在网络结构中涉及合适的约束条件。;ZIPCODE RECOGNITION;存在的问题： 1. 一般要得到较好的训练效果，隐层数目不能太少，当图片大的时候，需要的权值会非常多！ 2. 对平移、尺度变化敏感（比如数字偏左上角，右下角时即识别失败） 3. 图片在相邻区域是相关的，而这种网络只是一股脑把所有像素扔进去，没有考虑图片相关性。;ZIPCODE RECOGNITION;PREPROCESSING;THE NETWORK;每种滤波器的参数不一样，表示它提出输入图像的不同特征，例如不同的边缘。这样每种滤波器去卷积图像就得到对图像的不同特征的放映，我们称之为Feature Map。 一个feature map中的所有神经元使用相同过滤器，不同层的feature map 使用不同的过滤器。;卷积神经网络结构;卷积和子采样过程;6个5X5模板;输入图像是32x32的大小，局部滑动窗（卷积核）的大小是5x5的，由于不考虑对图像的边界进行拓展，则滑动窗将有28x28个不同的位置，也就是C1层的大小是28x28。这里设定有6个不同的C1层，每一个C1层内的权值是相同的。C1层是一个卷积层（为什么是卷积？卷积运算一个重要的特点就是，通过卷积运算，可以使原信号特征增强，并且降低噪音）;下一页; S2层是一个下采样层（利用图像局部相关性的原理，对图像进行子抽样，减小图像规模同时保留有用信息），有6个14*14的特征图。特征图中的每个单元与C1中相对应特征图的2*2邻域相连接，局部感受野互不覆盖。S2层每个单元的4个输入相加，乘以一个可训练参数，再加上一个可训练偏置。结果通过sigmoid函数计算。每个单元的2*2感受野并不重叠，因此S2中每个特征图的大小是C1中特征图大小的1/4（行和列各1/2）;C3层也是一个卷积层，它同样通过5x5的卷积核去卷积层S2，然后得到的feature map就只有10x10个神经元，但是它有16种不同的卷积核，所以就存在16个feature map了。这里需要注意的一点是：C3中的每个feature map是连接到S2中的所有6个或者几个feature map的，表示本层的feature map是上一层提取到的特征map的不同组合;S4层是一个下采样层，由16个5*5大小的特征图构成。特征图中的每个单元与C3中相应特征图的2*2邻域相连接，跟C1和S2之间的连接一样。;C5层是一个卷积层，有120个特征图。每个单元与S4层的全部16个单元的5*5邻域相连。由于S4层特征图的大小也为5*5（同滤波器一样），故C5特征图的大小为1*1：这构成了S4和C5之间的全连接。之所以仍将C5标示为卷积层而非全相联层，是因为如果LeNet-5的输入变大，而其他的保持不变，那么此时特征图的维数就会比1*1大。;F6层有84个单元（之所以选这个数字的原因来自于输出层的设计），与C5层全相连。F6层计算输入向量和权重向量之间的点积，再加上一个偏置。然后将其传递给sigmoid函数产生单元i的一个状态。 由于经典的BP网络是一个一维节点分布排列，而卷积神??网络是二维网络结构。所以，要把卷积神经网络的每一层，按照一定的顺序和规则映射为一维节点分布，然后，按照这个分布创建一个多层反向传播算法的网络结构，就可以按照一般的BP训练算法去学习网络参数 输出一般组织为“one-of-c”的形式，也就是只有该输入对应的类的输出节点输出为正，其他类的位或者节点为-1;第一阶段，向前传播阶段： a）从样本集中取一个样本(X,Yp)，X是输入向量，Yp是理想输出向量，将X输入网络； b）计算相应的实际输出Op。 在此阶段，信息从输入层经过逐级的变换，传送到输出层。这个过程也是网络在完成训练后正常运行时执行