bp神经网络的研究.docxVIP

bp神经网络的研究 0 下降算法的两种模式 bp神经网络培训算法计算了性能函数的梯度，然后沿负梯度调整了权重值和阀值，从而使性能函数达到最低。梯度下降算法有两种模式:递增模式和批处理模式。在递增模式中,当每个样本输入应用于网络之后,就对网络的权值和阀值进行调整。而在批处理模式中,只有当所有的样本输入都应用于网络之后,网络的权值和阀值才会得到调整。MATLAB神经网络工具箱提供了多种训练函数,它们都是属于批处理模式的训练函数,主要可以分为启发式训练函数和快速训练函数。 1 启动式培训算法 1.1 lr和nan 函数traingd有7个参数:epochs、show、goal、time、min_grad、max_fail和lr。lr是网络的学习率,它越大,权值和阀值的调整幅度也就越大,但是如果lr太大,会使网络的稳定性大大降低;show用于显示每次训练的状态,如果它的值是Na N,训练状态将不会被显示。如果网络的训练次数大于epochs,网络的性能函数值小于goal或者训练时间超过了time秒,网络的训练都将停止;参数max_fail的值与初期终止技术(网络泛化)有关。 1.2 动能项的加入 动量梯度下降算法是一种批处理的前馈神经网络的训练算法,它不仅考虑误差在梯度上的作用,而且考虑在误差曲面上变化趋势的影响。由于引入了一个动量项(相当于一个阻尼项),有效地避免了局部最小问题在网络训练中的出现。所谓动量项的加入就是指在网络每次的权值和阀值改变量中加入前一次的改变量,第k次循环中的权值和阀值改变量可以表示为: 其中,gω(k)、gb(k)分别表示当前性能函数对权值和阀值的梯度;αk是学习率;mc是动量系数。mc的值在0到1之间,当mc为0时,权值和阀值的改变量就由此时计算出的负梯度来确定;当mc为1时,权值和阀值的改变量就等于它们前一时刻的改变量。而且如果在某个循环内,网络的性能函数值超过了参数max_perf_inc的值,mc的值将自动设置为0。函数traingdm的使用类似于函数traingd,只是它有两个特殊的训练参数,mc和max_perf_inc。 1.3 特性计算方法的实现 在负梯度算法中,学习率是一个固定不变的常数,而且它的值将直接影响到网络的训练性能。如果选择的太大,会降低网络的稳定性;如果选择的过小,会导致过长的训练时间。如果学习率在训练的过程中得到适当的变化,又使得它的值不会过大,就可以加快网络的训练速度,而且确保网络的稳定性。 该算法首先计算出网络的输出误差,然后在每次训练结束后,利用此时的学习率计算出网络的权值和阀值,并且计算出网络此时的输出误差。如果此时的输出误差与前一时刻的输出误差的比值大于预先定义的参数max_perf_inc,那么就减少学习率(通过乘以系数lr_dec来实现),并采用新的权值和阀值,反之,就增加学习率(通过乘以系数lr_inc来实现)。再重新计算网络的权值和阀值以及输出误差,直到前后输出误差的比值小于参数max_perf_inc为止。训练函数traingda的调用和函数traingd相同,只是它又增加了3个训练参数max_perf_inc、lr_dec和lr_inc。 1.4 网络性能函数的trad-pc 多层的BP神经网络常常使用S形传递函数,S函数的特点是可以把无限的输入映射到有限的输出,而且当输入很大或很小的时候,函数的斜率接近于0。这使得在训练具有S形神经元的多层BP网络时,计算出的梯度会出现很小的情况,这时网络的权值和阀值的改变量也会很小,从而影响了网络的训练速度。 有弹性的BP算法的原理是消除梯度模值对网络训练带来的影响。在该算法中,梯度的符号决定了权值和阀值的变化方向,梯度的模值对权值和阀值的变化不起作用,而是通过单独的参数来更新网络的权值和阀值。当网络性能函数对某权值的微分在连续的两个训练周期内具有相同的符号时,该权值的改变量将通过参数delt_inc得到增加,反之就通过参数delt_dec来减少。函数trainrp的参数包括e-pochs、show、goal、time、min_grad、max_fail、delt_inc、delt_dec、delta0和deltamax,其中后两个参数是初始步幅和最大步幅。函数trainrp不需要存储网络权值和阀值的改变量,所以它对内存的需求量也比较小。 2 数字优化培训算法 2.1 t水体模型算法 标准的负梯度算法是沿网络性能函数的负梯度方向调整权值和阀值,虽然这是减低网络性能函数值的最快方法,但是它并不是网络收敛的最快算法。在共轭梯度算法中,沿着共轭方向进行行搜索,收敛速度将比一般的梯度下降法要快得多。下面分别介绍4种共轭梯度算法: (1)Fletcher-Reeves算法(traincgf) 所有共轭梯度算法的搜索方向是从最陡下