BP网络.pptVIP

第三章反向传播网络（BPN) BP网络概述 BP网络概述 BP网络概述 含隐层的前馈网络的δ学习规则 含隐层的前馈网络的δ学习规则 含隐层的前馈网络的δ学习规则 含隐层的前馈网络的δ学习规则 含隐层的前馈网络的δ学习规则 含隐层的前馈网络的δ学习规则 含隐层的前馈网络的δ学习规则 含隐层的前馈网络的δ学习规则 S形激励函数下的BP算法 S形激励函数下的BP算法 S形激励函数下的BP算法 S形激励函数下的BP算法 训练100次的结果 训练200次的结果 训练300次的结果 训练400次的结果 训练结束后的网络输出与误差结果 BP网络的误差曲线 BP网络的误差曲线 BP网络的性能测试 BP网络的性能测试 BP网络的性能测试 BP网络的性能测试 BP网络训练的模式 批处理模式(batch mode) 训练时计算出所有样本的整体误差后，加权系数才调整。 模式学习模式(pattern mode) 训练过程输入一个样本，计算学习误差，调整加权系数。 BP网络设计问题 在进行BP网络的设计时，一般应从网络的层数， 每层中的神经元个数和激励函数、初始值以及学习速 率等几个方面来进行考虑。 网络的层数 理论上已经证明：具有偏差和至少一个S型隐含层加上一个线性输入层的网络，能够逼近任何有理函数 增加层数可以进一步的降低误差，提高精度，但同时也使网络复杂化 另外不能用仅具有非线性激励函数的单层网络来解决问题。因为能用单层网络完美解决的问题，用自适应线性网络也一定能解决，而且自适应线性网络的运算速度还要快。而对于只能用非线性函数解决的问题，单层精度又不够高，也只有增加层数才能达到期望的结果。 隐含层神经元数 网络训练精度的提高，可以通过采用一个隐含层而增加其神经元数的方法来获得，这在结构实现上，要比增加更多的隐含层要简单得多。 为了对隐含层神经元数在网络设计时所起的的作用有一个比较深入的理解，下面先给出一个有代表性的实例，然后从中得出几点结论。 例：用两层BP网络实现“异或”功能。 网络要实现如下的输入/输出功能： 对于一个二元输入网络来说，神经元数即为分割线数。所以隐含层神经元数应≥2。 在此例中，隐含层中神经元数为多少时最佳？ 针对sl=2，3，4，5，6以及为20、25和30时对网络进行设计。选择误差目标为0.02,并通过对网络训练时所需的循环次数和训练时间的情况来观察网络求解效果。 我们评价一个网络设计的好坏，首先是它的精度， 再一个就是训练时间。 从表中可以看出下面几种情况： 1）神经元数太少，网络不能很好的学习，需要训 练的次数也多，训练精度也不高； 2）一般而言，网络隐含层神经元的个数sl越多， 功能越大，但当神经元数太多，会产生其它的问题。 3）当sl=3,4,5时，其输出精度都相仿，而sl=3时的 训练次数最多。 一般来说，网络 sl 的选择原则是：在能够解决问 题的前提下，再加上一个到两个神经元以加快误差的下 降速度即可。 学习速率 学习速率决定每一次循环训练中所产生的权 值变化量。大的学习速率可能导致系统的不稳定； 但小的学习速率导致较长的训练时间，可能收敛 很慢，不过能保证网络的误差值不跳出误差表面 的低谷而最终趋于误差最小值。所以一般情况下 倾向于选取较小的学习速率以保证系统的稳定性。 学习速率的选取范围在0.01~0.8之间。 对于较复杂的网络，在误差曲面的不同部位 可能需要不同的学习速率。为了减少寻找学习速 率的训练次数以及训练时间，比较合适的方法是 采用变化的自适应学习速率，使网络的训练在不 同的阶段设置不同大小的学习速率。 期望误差的选取 在设计网络的训练过程中，期望误差值也应 当通过对比训练后确定一个合适的值，这个所谓 “合适”,是相对于所需要的隐含层的节点数来确 定的。一般情况下，作为对比，可以同时对两个 不同期望误差值的网络进行训练，最后通过综合 因素的考虑来确定采用其中一个网络。 限制与不足 （1）需要较长的训练时间 这主要是由于学习速率太小所造成的。可采用变 化的学习速率或自适应的学习速率来加以改进。 （2）完全不能训