神经网络网络 数学建模.pptVIP

3.3初始权值的选取一般取初始权值在(-1，1)之间的随机数威得罗等人在分析了两层网络是如何对一个函数进行训练后，提出一种选定初始权值的策略选择权值的量级为在MATLAB工具箱中可采用函数nwlog.m或nwtan.m来初始化隐含层权值W1和B1。其方法仅使用在第一隐含层的初始值的选取上，后面层的初始值仍然采用随机取数第29页，共51页，星期日，2025年，2月5日3.4学习速率学习速率决定每一次循环训练中所产生的权值变化量大的学习速率可能导致系统的不稳定小的学习速率导致较长的训练时间，可能收敛很慢，不过能保证网络的误差值不跳出误差表面的低谷而最终趋于最小误差值所以在一般情况下，倾向于选取较小的学习速率以保证系统的稳定性。学习速率的选取范围在0.01-0.8之间第30页，共51页，星期日，2025年，2月5日3.5期望误差值选取在设计网络的训练过程中，期望误差值也应当通过对比训练后确定一个合适的值这个所谓的“合适”，是相对于所需要的隐含层的节点数来确定，因为较小的期望误差值是要靠增加隐含层的节点，以及训练时间来获得一般情况下，作为对比，可以同时对两个不同期望误差值的网络进行训练，最后通过综合因素的考虑来确定采用其中一个网络第31页，共51页，星期日，2025年，2月5日3.6应用举例求解函数逼近问题有21组单输入矢量和相对应的目标矢量，试设计神经网络来实现这对数组的函数关系P=-1:0.1:1T=[-0.960.577-0.07290.3770.6410.660.4610.1336…-0.201-0.434-0.5-0.393-0.16470.09880.3072…0.3960.34490.1816-0.0312-0.2183-0.3201]测试集P2=-1:0.025:1第32页，共51页，星期日，2025年，2月5日3.6应用举例目标矢量相对于输入矢量的图形初始网络的输出曲线第33页，共51页，星期日，2025年，2月5日3.6应用举例训练1000次2000次第34页，共51页，星期日，2025年，2月5日3.6应用举例训练3000次5000次第35页，共51页，星期日，2025年，2月5日3.7限制与不足需要较长的训练时间完全不能训练选取较小的初始权值采用较小的学习速率，但同时又增加了训练时间局部极小值BP算法可以使网络权值收敛到一个解，但它并不能保证所求为误差超平面的全局最小解，很可能是一个局部极小解第36页，共51页，星期日，2025年，2月5日第1页，共51页，星期日，2025年，2月5日一、内容回顾二、BP网络三、网络设计四、改进BP网络五、内容小结内容安排第2页，共51页，星期日，2025年，2月5日一、内容回顾感知机自适应线性元件第3页，共51页，星期日，2025年，2月5日一、内容回顾感知机感知机简介神经元模型网络结构功能解释学习和训练局限性自适应线性元件第4页，共51页，星期日，2025年，2月5日一、内容回顾感知机自适应线性元件Adline简介网络结构网络学习网络训练第5页，共51页，星期日，2025年，2月5日2.1BP网络简介2.2网络模型2.3学习规则2.4图形解释2.5网络训练二、BP网络第6页，共51页，星期日，2025年，2月5日反向传播网络(Back-PropagationNetwork，简称BP网络)是将W-H学习规则一般化，对非线性可微分函数进行权值训练的多层网络权值的调整采用反向传播(Back-propagation）的学习算法它是一种多层前向反馈神经网络，其神经元的变换函数是S型函数输出量为0到1之间的连续量，它可实现从输入到输出的任意的非线性映射2.1BP网络简介第7页，共51页，星期日，2025年，2月5日2.1BP网络简介BP网络主要用于下述方面函数逼近：用输入矢量和相应的输出矢量训练一个网络逼近一个函数模式识别和分类：用一个特定的输出矢量将它与输入矢量联系起来；把输入矢量以所定义的合适方式进行分类；数