基于卷积神经网络的手写数字识别.pptVIP

基于卷积神经网络的手写数字识别 卷积神经网络 基于人工神经网络 使用卷积核作为特征抽取器 自动训练特征抽取器（即卷积核，即阈值参数） 卷积核一次训练多次使用，可以在线学习（模型在训练好之后，在使用中继续训练）。 局部感受野+权值共享+下采样 使模型参数大幅减小。 7 卷积 卷积其实是一个图像处理核 卷积用于增强图像的某种特征，降低噪音 8 卷积 9 卷积 子采样 利用图像局部相关性的原理，减少训练维数，同时保留了有用信息 降低图像分辨率 增强网络对大小变化的适用性 子采样 为什么不把S2中的每个特征图连接到每个C3的特征图呢？原因有2点。 第一，不完全的连接机制将连接的数量保持在合理的范围内。 第二，也是最重要的，其破坏了网络的对称性。由于不同的特征图有不同的输入，所以迫使他们抽取不同的特征。 训练过程 训练算法与传统的BP算法差不多。主要包括4步，这4步被分为 两个阶段： 第一阶段，向前传播阶段： a）从样本集中取一个样本(X,Yp)，将X输入网络； b）计算相应的实际输出Op。       在此阶段，信息从输入层经过逐级的变换，传送到输出层。这个过程也是网络在完成训练后正常运行时执行的过程。在此过程中，网络执行的是计算（实际上就是输入与每层的权值矩阵相点乘，得到最后的输出结果）：           Op=Fn（…（F2（F1（XpW（1））W（2））…）W（n）） 第二阶段，向后传播阶段 a）算实际输出Op与相应的理想输出Yp的差； b）按极小化误差的方法反向传播调整权矩阵。 15 LeNet5 16 LeNet5 优点  卷积神经网络较一般神经网络在图像处理方面有如下优点： a）输入图像和网络的拓扑结构能很好的吻合； b）特征提取和模式分类同时进行，并同时在训练中产生； c）权重共享可以减少网络的训练参数，使神经网络结构变得更简单，适应性更强。 缺点 实践中，具有类标号的数据较少，而不具有类标号的数据非常丰富，为每个数据人工设置类标号是非常费时和枯燥的。然而，为了使得监督卷积神经网络通过训练具有较高的泛化能力，需要大量具有类标号的训练样本，这也是制约临督卷积神经网络在实践巾应用的主要因素。 卷积神经网络的非监督 深层网络含有较多的权值，当具有类标号的训练样本较少时，仅使用监督训练的方法不能充分训练深层网络。近年来，深层学习的研究表明，可以先使用没有类标号的训练样本逐层非脆督训练深层网络，而后，再使用少量具有类标号的训练样本监督训练深层网络，进行权值微调，这样在具有类标号的训练样本较少时，也能训练出泛化能力较高的深层网络。 卷积神经网络的非监督训练算法主要有三种：预测稀疏分解PSD，不变预测稀疏分解IPSD和卷积预测稀疏分解CPSD。