模式识别第3章人工神经网络及模式识别解读.pptVIP

BP算法的问题 BP算法解决了隐层权值修正问题。可以用于三层或更多层的前馈网络。 问题： 可能陷入局部极小点，不能达到全局收敛。 初始权值不能设为0或都相同（此时，各隐层单元无差异，运算不能正常进行）。 初始权值对收敛有影响。 解决办法： 用较小的随机数做初始权值。 不收敛时，改变权值，试算。 * * 参数η和α的影响 η ：影响收敛性影响 不同的问题其最佳值相差很大 通常可在0.1~0.3之间试探，复杂的问题用较大的值。 α ：影响收敛速度 在很多应用中其值可在0.9~1之间选择（比如0.95) α≥1 时，不收敛； 也可不用惯性项（即α =0）。 * * * * MLP用于模式识别 三层网络可以应付任何问题，但对于较复杂的问题，更多层的网络有可能获得更精简的结果。 输入层：由特征向量构成。输入单元数是特征维数 输出层：由类别构成。输出单元数目可以是类数。 隐层单元数：单元数目如何确定则缺乏有效的方法。 问题越复杂，需要的隐层单元越多； 隐层单元越多越容易收敛。但会增加计算量，而且会产生“过学习”效果，使对未出现过的样本的推广能力变差。 隐层单元数难以确定时，可以先选较多单元数，待学习完成后，再逐步删除一些隐层单元。若性能明显变坏，则恢复原状，逐个测试各隐层单元的贡献，把不必要的删去。 * * 3.2.5 其他神经网络 径向基函数网络（可用于非监督学习） 自组织映射神经网络（SOM）网络 Hopfield网络：是一种反馈网络 * * * * 3.3 竞争学习和侧抑制 前述前馈网络属于监督学习，需要同时提供输入样本和相应的理想输出。 引进竞争机制的前馈网络可以实现无监督学习，完成聚类的任务。竞争学习网络的结构与二层前馈网络类似，只是在输出层加上了侧抑制，如图所示。 竞争学习网络结构示意图 * * * * 侧抑制（不讲，自学） 侧抑制是在输出层各单元之间相互用较大的负权值输入对方的输出，这种互连构成正反馈，类似于双稳态或多稳态触发器。 竞争的结果是，具有较大输入的单元输出为1,而其他单元的输出都为0。网络动作机制为： * * * * 初始值及权向量的处理： 学习时先用随机数作为权值初始值，为了防止某个输出单元的权值过大造成不应有的侧重，在初始值和整个学习过程中随时将权向量进行归一化处理，即 使得 学习算法： 当样本为归一化样本（ ||x||=1 ）时，学习可按如下算法进行： * * * * 注意的问题 网络不可能收敛。因此可以采取强制收敛的方法，在学习过程中将步长参数缓慢减少至零。 学习结果受初始值和学习样本顺序影响很大。聚类的结果未必是我们想要的结果，因此在实际应用时需要加入适当的人工干预。例如先选择少量典型性好的样本作为权向量初始。 * * 3.4 神经网络用于模式识别的典型做法 3.4.1 多层前馈网络用于模式识别 在各种人工神经网络模型中，在模式识别中应用最多的也是最成功的当数多层前馈网络，其中又以采用BP学习算法的多层感知器（习惯上也简称为BP网络）为代表。 由于网络采用的是监督学习方式进行训练，因此只能用于监督模式识别问题。 一般有以下两种应用方式： 1、多输出型 2、单输出型 * * 一、多输出型 输入层：对应样本特征向量，每一个节点对应一个特征 输出层：节点数等于类别数，一个输出节点对应一个类。 训练阶段：如果输入训练样本的类别标号是i，则训练时的期望输出设为第个节点为1，而其余输出节点均为0。 识别阶段：未知类别的样本作用到输入端时，样本的类别判定为与输出值最大的那个节点对应的类别。若输出最大的节点与其他节点输出的差较小，可作拒绝决策。 “1-0”编码模式或者“C中取1”模式：m个输出节点，用它们的某种编码来代表C个类别。 * * 二、单输出型 多输出方式: 网络要同时适应所有类别，需要更多的隐层节点．学习过程往往收敛较慢 多个多输入单输出形式的网络，每个网络只完成两类分类。 输入节点对应样本一个特征．而输出层节点只有一个。 训练：为每个类建立一个网络进行训练。网络的隐层节点数可以不同，对每类分别训练，属于这类的样本的期望输出设为1，属于其他类的样本的期望输出设为0． 识别阶段：将未知类别样本输入到每一个网络，若某个网络输出接近1（或大于某个阈值），则该样本属于这一类； 若有多个网络的输出大于阈值，则（1）类别判断为最大输出的那一类；（2）拒绝决策； 若所有网络的输出均小于阈值时也可采取类似的决策方法。 * * 两类情况：只需要一个单输出网络即可。 将一类对应于输出1，另一类对应于输出0。 识别时只要输出大干0.5则决策为第一类，否则为第二类。 也