实验二 多层前向网络应用于字符识别.docxVIP

实验二 多层前向网络应用于字符识别 一、实验的目的 1.通过实验了解多层前向网络的工作原理； 2.通过实验掌握多层前向网络用于字符识别的基本原理与方法； 3.通过上机实验掌握BP算法的具体实现和神经网络工具箱中相关函数的使用。 二、实验原理 1.多层前向网络的工作原理简述 前向网络：实现复杂的非线性映射、结构简单、易编程。 前向网络结构图 1）单隐层前向网络 2）一般层 (第层结构 ()) 更精确地（第层结构） 第层输出 ， where -----第层第个神经元的净输入。 激活函数：，, (输出层，函数逼近) 2.BP算法简述 （a）初始化 Select the weights and thresholds with small stochastic number, say . (b)前向计算 (第k步) , , , where . (c) 后向计算 (第k步) For (d) 更新权值和阈值 , 主要包括：权值与阈值的初始化、网络结构选择、学习步长选择、收敛速度等。 1.权值与阈值的初始化 (1) 选择很小的随机数：如取，中均匀分布的随机数。 Goal: 避免节点饱和，导致迭代次数的大量增加。 (2) 试多个初值 2．网络结构的选择 网络的近似和泛化能力依靠：网络结构、训练样本数。 (1) 层数 常用二层（单隐层）、三层（双隐层），四层以上为特殊目的。 Remark: （a）单隐层的问题：神经元之间“相互作用”。在这种情况下，由于缺少冗余性，提高映射在一个点的逼近精度而不恶化其它点的逼近程度是困难的; （b）双隐层优点：使得拟合更加容易。第一隐层学习局部特征，第二隐层抽取整体特征。 (2) 神经元个数的选择 神经元个数不是越多越好，特别对含噪数据。 原因：过拟合，缺乏泛化能力。 建议: 尽量使用更小的网络：网络参数个数训练样本个数。 防过拟合的方法---Cross-Validation Method Aim: 选取隐层最优神经元个数：10，20，30，40，50 可利用数据的划分： Remark: 此法可用于确定：最优参数。 3. 学习率的选取 通常很小：0.1, 0.05, 0.01, 0.005. 太小：收敛慢；太大：震荡或不收敛。 4. 训练的停止准则-----Cross-Validation Learning set, Validation set, Test set Stopping criterion: 训练误差曲线与确认误差曲线相背离，停止。 5. Pattern Classification 输出层——Sigmoid函数； M类() ，； 新模式的判别： 3.动量BP算法 低通滤波器(IIR)： ，, . 显然，低通滤波器。 BP算法： 动量BP算法： （对)和进行低通滤波） where 三、问题的描述 字符识别是模式识别的一个重要的研究方向，在很多领域有着广泛的应用。本试验考虑设计一个多层前向网络用于二十六个英文字母的识别。 在计算机中，字符或图像均可用位图形式描述。图1给出了字母A的位图形式，如果 用1表示，其余元素用0表示，则字母A可以用一个如下的矩阵表示 图1 字母A的位图 图2 含噪字母A的位图 . 如果将上述矩阵按行拉直，则得到字母A的理想特征向量表示，即 . 用同样的方式，可以定义其它所有26个英文字母的理想特征向量，以作为多层前向网络的输入向量。26个英文字母对应的神经网络的目标输出，用一个26维的向量表示，例如，字母A、B的目标输出分别为 其它字母依次类推。26个英文字母的理想特征向量及其所对应的目标输出，可通过调用 ”prprob” 函数得到，位图可使用”plotchar”画出。 利用多层前向网络进行字符识别，就是通过设计和训练一个网络，使网络能够对应于字符的特征向量输入得到相应的目标输出。然而，在实际识别过程中，待识别字符的特征向量通常是所对应的理想特征向量的含噪版本，图2给出了一个含有噪声的字母A的位图。因此，在训练和设计网络时，应该使网络具有一定的抑制噪声的能力。 四、实验的内容和步骤 1. 阅读多层前向网络的原理及其相应的BP算法，设计一个输入层和输出层神经元个数为35、26的单隐层的神经网络，编制程序进行实验。熟悉神经网络工具箱中如下函数： traingdx: 具有自适应学习率的动量BP学习算法的训练函数； newff: 生成一个新的多层前向网络； train: 对网络进行训练； sim: 对网络进行仿真，即求网络对给定输入所对应的输出； 2. 选取隐层神经元的个数为10，采用每个字母理想特征向量的