2015_4.2BP网络设计及实例教程.ppt

第四章 BP网络（2）;4.6.1 网络的层数 4.6.2 隐含层神经元数 4.6.3 初始权值的选取 4.6.4 学习速率 4.6.5 期望误差的选取 4.6.6 应用举例 4.6.7 局限性;理论上已经证明：具有偏差和至少一个S型隐含层加上一个线性输出层的网络，能够逼近任何有理函数 定理： 增加层数主要可以进一步的降低误差，提高精度，但同时也使网络复杂化，从而增加了网络权值的训练时间。 一般情况下应优先考虑增加隐含层中神经元数 仅用具有非线性激活函数的单层网络来解决问题没有必要或效果不好 线性问题 非线性问题;网络训练精度的提高，可以通过采用一个隐含层，而增加其神经元数的方法来获得。这在结构实现上，要比增加更多的隐含层简单得多 定理： 实现任意N个输入向量构成的任何布尔函数的前向网络所需权系数数目为 在具体设计时，比较实际的做法是通过对不同神经元数进行训练对比，然后适当地加上一点余量;一般取初始权值在(-1，1)之间的随机数 威得罗等人在分析了两层网络是如何对一个函数进行训练后，提出一种选定初始权值的策略 选择权值的量级为 在MATLAB工具箱中可采用函数nwlog.m或nwtan.m来初始化隐含层权值W1和B1。 其方法仅使用在第一隐含层的初始值的选取上，后面层的初始值仍然采用随机取数;学习速率决定每一次循环训练中所产生的权值变化量 大的学习速率可能导致系统的不稳定 小的学习速率导致较长的训练时间，可能收敛很慢，不过能保证网络的误差值不跳出误差表面的低谷而最终趋于最小误差值 所以在一般情况下，倾向于选取较小的学习速率以保证系统的稳定性。学习速率的选取范围在0.01-0.8之间;在设计网络的训练过程中，期望误差值也应当通过对比训练后确定一个合适的值 这个所谓的“合适”，是相对于所需要的隐含层的节点数来确定，因为较小的期望误差值是要靠增加隐含层的节点，以及训练时间来获得 一般情况下，作为对比，可以同时对两个不同期望误差值的网络进行训练，最后通过综合因素的考虑来确定采用其中一个网络;求解函数逼近问题 有21组单输入矢量和相对应的目标矢量，试设计神经网络来实现这对数组的函数关系 P=-1:0.1:1 T=[-0.96 0.577 -0.0729 0.377 0.641 0.66 0.461 0.1336 … -0.201 -0.434 -0.5 -0.393 -0.1647 0.0988 0.3072 … 0.396 0.3449 0.1816 -0.0312 -0.2183 -0.3201] 测试集 P2=-1:0.025:1;目标矢量相对于输入矢量的图形 初始网络的输出曲线 ;训练1000次 2000次;训练3000次 5000次;需要较长的训练时间 完全不能训练 选取较小的初始权值 采用较小的学习速率，但同时又增加了训练时间 局部极小值 BP算法可以使网络权值收敛到一个解，但它并不能保证所求为误差超平面的全局最小解，很可能是一个局部极小解;4.7.1 目标 4.7.2 附加动量法 4.7.3 误差函数改进 4.7.4 自适应学习速率;4.7.1 目标;4.7.2 附加动量法 ;4.7.2 附加动量法 ;4.7.2 附加动量法 ;4.7.3 误差函数改进;4.7.3 误差函数改进;4.7.3 误差函数改进;4.7.4 自适应学习速率;MATLAB工具箱中带有自适应学习速率进行反向传播训练的函数为 trainbpa.m 可训练直至三层网络。 使用方法 [W, B, epochs, TE]＝ trainbpa(W，B，’F’，P，T，TP) 可以将动量法和自适应学习速率结合起来以利用两方面的优点。这个技术已编入了函数trainbpx.m之中 函数的调用和其他函数一样，只是需要更多的初始参数而已 TP＝[disp_freq max_epoch error_goal eta eta_inc eta_dec mom_const err_ratio]； [W，B，epochs，[error; eta]]＝trainbpx(W，B，F，P，T，TP);收敛速度问题 局部极小点问题 逃离/避开局部极小点：修改W、V的初值——并不是总有效。 逃离——统计方法；[Wasserman，1986]将Cauchy训练与BP算法结合起来，可以在保证训练速度不被降低的情况下