人工神经网络5BP神经网络.pptVIP

这就完成了BP算法的第一次迭代。下一步可以选择另一个输入，执行算法的第二次迭代过程。迭代过程一直进行下去，直到网络响应和目标函数之差达到某一可接受的水平。 权的修正 接着讨论与反向传播法的实际实现相关的一些问题，包括网络结构的选择、网络收敛性和一般化的问题。 1.网络结构的选择 如本章前面所述，多层网络可用来逼近几乎任一个函数,只要在隐层中有足够的神经元。然而，通常并不能说，多少层或多少神经元就可以得到足够的性能。本节中我们通过一些例子来考察这个问题。 反向传播应用 第一个例子：假定要逼近如下的函数： 其中 i 取值1、2、4 和8 。随 i 的增加，函数变得更为复杂，在 的区间内将有更多的正弦波周期。当 i 增加时，很难用隐层中神经元数目固定的神经网络来逼近g(p) 。 网络结构的选择 对这个例子,我们使用一个1-3-1 网络,第一层的传输函数为 “logsig”形,第二层的传输函数是线性函数。根据前面的函数逼近例子,这种两层网络的响应是三个 “logsig”形函数之和(或多个logsig形函数之和,只要隐层中有同样多的神经元). 显然,对这个网络能实现的函数有多么复杂有一个限制。图6－18是网络经训练来逼近g(p)(对 i = 1,2,4,8)后的响应曲线。最终的网络响应用图中画出的曲线来表示。 网络结构的选择 网络结构的选择 1-3-1 Network i = 1 i = 2 i = 4 i = 8 由于网络的能力受隐层中神经元数目的限制，尽管BP算法可以获得使均方误差最小化的网络参数，网络的响应却不能精确逼近所期望的函数。 i=1 i=2 i=4 i=8 网络结构的选择 可以看到，对 i=4，这个1-3-1网络达到了它的最大能力。当 i4 时，网络不能生成g(p)精确的逼近曲线。从图右下方的图中可以看致1-3-1网络试图逼近i=8时的函数g(p) 。 网络的响应和g(p)之间的均方误差达到了最小化，但网络响应曲线只能与函数的一小部分相匹配。 网络结构的选择 下一个例子中将从一个稍有些不同的角度来解决此问题。这次我们选择函数g(p) ,然后使用越来越大的网络直到能精确地逼近函数为止。 g(p) 采用 网络结构的选择 1-5-1 1-2-1 1-3-1 1-4-1 网络的能力受隐层中神经元数目的限制。若要逼近 有大量拐点的函数,隐层中就要有大量的神经元。 通常不知道多少层或多少神经元就能得到足够的性能。 BP网络的局限性 在人工神经网络的应用中,绝大部分的神经网络模型采用了BP网络及其变化形式,但这并不说明BP网络是尽善尽美的,其各种算法依然存在一定的局限性。BP 网络的局限性主要有以下几个方面： BP网络的局限性 (1) 学习率与稳定性的矛盾 梯度算法进行稳定学习要求的学习率较小,所以通常学习过程的收敛速度很慢。附加动量法通常比简单的梯度算法快,因为在保证稳定学习的同时,它可以采用很高的学习率,但对于许多实际应用,仍然太慢。以上两种方法往往只适用于希望增加训练次数的情况。如果有足够的存储空间,则对于中、小规模的神经网络通常可采用Levenberg—Marquardt 算法;如果存储空间有问题,则可采用其他多种快速算法,例如对于大规模神经网络采用trainscg 或trainrp 更合适。 BP网络的局限性 (2) 学习率的选择缺乏有效的方法 对于非线性网络,选择学习率也是一个比较困难的事情。对于线性网络,我们知道,学习率选择的太大,容易导致学习不稳定;反之学习率选择的太小,则可能导致无法忍受过长的学习时间。不同于线性网络,我们还没有找到一种简单易行的方法,选择学习率的问题。对于快速训练算法,其默认参数值通常留有裕量。 BP网络的局限性 (3) 训练过程可能陷于局部最小 从理论上说,多层BP网络可以实现任意可实现的线性和非线性函数的映射,克服了感知器和线性神经网络的局限性。但在实际应用中,BP 网络往往在训练过程中,也可能找不到某个具体问题的解,比如在训练过程中陷人局部最小的情况。当BP 网络在训练过程中陷人误差性能函数的局部最小时,可通过改变其初始值,并经多次训练,以获得全局最小。 BP网