神经网络与MATLAB仿真 (1).pptVIP

2.BP网络的学习算法 当输出层传递函数为线性函数时，输出层与隐含层之间权值调整的规则类似于线性神经网络的权值调整规则。 BP网络的复杂之处在于，隐含层与隐含层之间、隐含层与输入层之间调整权值时，局部梯度的计算需要用到上一步计算的结果。前一层的局部梯度是后一层局部梯度的加权和。 因此，BP网络学习权值时只能从后向前依次计算。 串行方式 。在线方式，网络每获得一个新样本，就计算一次误差并更新权值，直到样本输入完毕。 随机输入样本，不容易陷入局部最优陷阱。 批量方式 ：离线方式。网络获得所有的训练样本，计算所有样本均方误差的和作为总误差 。 容易并行化，速度快。 2.BP网络的学习算法 动量BP法 在标准BP算法的权值更新阶段引入动量因子 ，使权值修正值具有一定惯性： 本次权值的更新方向和幅度不但与本次计算所得的梯度有关，还与上一次更新的方向和幅度有关 （1）如果前后两次计算所得的梯度方向相同，得到的权值较大，可以加速收敛过程 。 （2）如果前后两次计算所得梯度方向相反，则说明两个位置之间可能存在一个极小值，可以得到一个较小的步长，更容易找到最小值点，而不会陷入来回振荡 2.BP网络的学习算法 学习率可变的BP算法： 当误差以减小的方式趋于目标时，说明修正方向是正确的，可以增加学习率； 当误差增加超过一定范围时，说明前一步修正进行地不正确，应减小步长，并撤销前一步修正过程。 拟牛顿法 。牛顿法具有收敛快的优点，但需要计算误差性能函数的二阶导数，计算较为复杂。拟牛顿法只需要知道目标函数的梯度，通过测量梯度的变化进行迭代，收敛速度大大优于最速下降法。拟牛顿法有DFP方法、BFGS方法、SR1方法和Broyden族方法。 3.设计BP网络的方法 1.网络层数。对于大部分应用场合，单个隐含层即可满足需要 2.输入层节点数。输入层节点数取决于输入向量的维数。 如果输入的是的图像，则输入向量应为图像中所有的像素形成的4096维向量。 如果待解决的问题是二元函数拟合，则输入向量应为二维向量。 3.隐含层节点数 。较多的隐含层节点数可以带来更好的性能，但可能导致训练时间过长 。经验公式： BP网络的设计主要包括网络层数、输入层节点数、隐含层节点数、输出层节点数及传输函数、训练方法、训练参数的设置等几个方面。 样本数 输入层结点数 3.设计BP网络的方法 输出层神经元的个数同样需要根据从实际问题中得到的抽象模型来确定。在模式分类问题中，如果共有n种类别，则输出可以采用n个神经元 。 也可以将节点个数设计为 个， 表示最小的不小于 的整数。由于输出共有4种情况，因此采用二维输出即可覆盖整个输出空间，00、01、10和11分别表示一种类别。 输出层神经元个数 传递函数的选择 一般隐含层使用Sigmoid函数，而输出层使用线性函数。如果输出层也采用Sigmoid函数，输出值将会被限制在 0~1或-1~1之间。 3.设计BP网络的方法 训练方法的选择 使用LM算法收敛速度最快，均方误差也较小。 LM算法对于模式识别相关问题的处理能力较弱，且需要较大的存储空间 模式识别问题，使用RPROP算法能收到较好的效果 SCG算法对于模式识别和函数逼近问题都有较好的性能表现。 初始权值的确定 通常将初始权值定义为较小的非零随机值，经验值为 ：权值输入端连接的神经元个数 3.设计BP网络的方法 确定以上参数后，将训练数据进行归一化处理，并输入网络中进行学习，若网络成功收敛，即可得到所需的神经网络。 4.BP神经网络的局限性 BP网络具有实现任何复杂非线性映射的能力，特别适合求解内部机制复杂的问题 ，但BP网络也具有一些难以克服的局限性 （1）需要的参数较多，且参数的选择没有有效的方法。隐含层结点个数。 （2）容易陷入局部最优。 （3）样本依赖性。如果样本集合代表性差、矛盾样本多、存在冗余样本，网络就很难达到预期的性能 （4）初始权重敏感性。训练的第一步是给定一个较小的随机初始权重，由于权重是随机给定的，BP网络往往具有不可重现性。 5.BP神经网络应用实例 实现二值逻辑——异或 学习率为0.6，动量因子为0.8，默认最大迭代次数为1000次 采用手算实现基于BP网络的异或逻辑。训练时采用批量训练的方法，训练算法使用带动量因子的最速下降法。 main_xor.m 6.BP神经网络应用实例 分类面 x y %% 清理 clear all clc randn(state,2); %% 参数 eb = 0.01;