2020神经网络BP算法.pptVIP

4 学习速率 学习速率决定每一次循环训练中所产 生的权值变化量。 大的学习速率可能导致系统的不稳定。 小的学习速率导致较长的训练时间， 可能收敛很慢，不过能保证网络的误差 值不跳出误差表面的低谷而最终趋于最 小误差值。 所以在一般情况下，倾向于选取较小 的学习速率以保证系统的稳定性。学习 速率的选取范围在 0 ． 01 — 0 ． 8 之间。 5 期望误差的选取 在设计网络的训练过程中，期望误差值也 应当通过对比训练后确定一个合适的值。 这个所谓的“合适”，是相对于所需要的 隐含层的节点数来确定，因为较小的期望误差 值是要靠增加隐含层的节点，以及训练时间来 获得的。 一般情况下，作为对比，可以同时对两个 不同期望误差值的网络进行训练，最后通过综 合因素的考虑来确定采用其中一个网络。 BP 网络的局限与不足 (1) 需要较长的训练时间 因为涉及到求导的运算，需要的时间较长 (2) 训练瘫痪问题 通常为了避免这种现象的发生，一是选取较小的 初始权值，二是采用较小的学习速率，但这又增 加了训练时间。 (3) 局部极小值 BP 算法可以使网络权值收敛到一个解，但它 并不能保证所求为误差超平面的全局最小解， 很可能是一个局部极小解。 E W 初始值不合适时， 可能落入局部极小值。 W ? j 2 ? k ? 1 ? ? ? j 2 ? k ? ? ? ? j 2 ? ? ? ? j 2 ? k ? ? ? j 2 ? k ? 1 ? ? ? j 2 ? k ? 1 ? ? ? j 2 ? k ? ? ? ? e ? k ? ? x ? ? ? ? j 2 ? k ? ? ? j 2 ? k ? 1 ? ? j ? ij ? k ? 1 ? ? ? ij ? k ? ? ? ? ij ? ? ? ? ij ? k ? ? ? ij ? k ? 1 ? ? ? ij ? k ? 1 ? ? ? ij ? k ? ? ? ? ij ? ? ? ? ij ? k ? ? ? ij ? k ? 1 ? ? ? ? ij ? k ? ? ? ? e ? k ? ? [ ? j 2 ? x ? ( 1 ? x ) ? x i ] ? ? ? ? ij ? k ? ? ? ij ? k ? 1 ? ? j j BP 网络逼近仿真 y ? k ? 1 ? y ? k ? ? u ? k ? ? 2 1 ? y ? k ? 1 ? 3 ? Chap7_1.m y ? k ? 1 ? ? u ? k ? ? 3 y ? k ? 1 ? y ? k ? 2 u ? k ? ? 0 . 5 sin( 6 ? t ) 设计的网络结构为 2-6-1 ； 权值 w1,w2 的初值取 [-1,+1] 之间的随机值， 取 ? ? 0 . 05 ? ? 0 . 5 初始化 加输入和期望输出 计算隐层和输出层的输出 调节输出层和隐层的连接权值 o o o k w kj ( t ? 1 ) ? w kj ( t ) ? ?? pk O pj h o w kj ( t ? 1 ) ? w h ( t ) ? ?? ji pj x pj 改变训练样板 No 训练样终止？ y 迭代次数加 1 No 迭代终止？ y BP 算法的基本流程 BP 网络模式识别 ? 一、 ? 由于神经网络具有自学习、自组织和并行处理 等特征，并具有很强的容错能力和联想能力， 因此，神经网络具有模式识别能力。 ? 在神经网络识别中，根据标准的输入输出模式 对，采用神经网络学习算法，以标准的模式作 为学习样本进行训练，通过学习调整神经网络 的连接权值。 ? 当训练满足要求后，得到知识库，利用神经网 络并行推理算法便可对所需的输入模式进行识 别。 BP 网络的训练过程 为了训练一个 BP 网络，需要计算网络加权 输入矢量以及网络输出和误差矢量，然后求得 误差平方和。 当所训练矢量的误差平方和小于误差目标， 训练则停止，否则在输出层计算误差变化，且 采用反向传播学习规则来调整权值，并重复此 过程。 当网络完成训练后，对网络输入一个不是 训练集合中的矢量，网络将给出输出结果。 为了能够较好地掌握 BP 网络的训练 过程，我们再用两层网络为例来叙述 BP 网络的训练步骤。 1) 用小的随机数对每一层的权值 W 初始化， 以保证网络不被大的加权输入饱和； 2) 计算网络各层输出矢量 A1 和 A2 以及网络 误差 E 3) 计算各层反传的误差变化并计算各层权值 的修正值以及新权值 4) 再次计算权值修正后误差平方和： 5) 检查误差是否小于给定误差，若是，训练 结束；否则继续。 以上所有的学习规则与训练的全过程，仍然可以用 函数 trainbp.m 来完成。它的使用同样只需要定义 有关参数：显示间隔次