课件：前馈神经网络续.ppt

3)学习率的影响 从图可知:当学习率lr较小时，误差稳步下降，直到收敛； 加大lr，误差开始急剧下降，但后期趋于平坦，收敛较慢； 进一步加大lr，误差在开始出现巨烈波动，后期趋于平坦，收敛也较慢； 再加大lr，误差除早期巨烈波动外，在规定的最大训练次数内不收敛。 因此，本例选择较小的学习率，以求稳步收敛。 本例与上例比较可以看到:尽管本例较上例曲线复杂,但采用单隐层逼近精度足够.无需增加隐层.??? 本例是连续函数,而上例是非连续函数 用神经网络开发工具（Neural Network) 的NNTOOL 做单隐层网络(具有GUI特点) 后面内容直接删除就行 资料可以编辑修改使用 资料可以编辑修改使用 主要经营：网络软件设计、图文设计制作、发布广告等 公司秉着以优质的服务对待每一位客户，做到让客户满意！ 致力于数据挖掘，合同简历、论文写作、PPT设计、计划书、策划案、学习课件、各类模板等方方面面，打造全网一站式需求 * * * * P=0:0.05:4; %设置输入样本 T=[0.5:0.025:1 0.975:-0.025:0 0.025:0.025:0.5]; %期望输出值 %目标拟合曲线 plot(P,T) pause %生成1-4-1BP网络 net=newff(minmax(P),[4 1],{logsig purelin},trainlm); %设置第一第二层权值 net.IW{1}=[0.2;0.3;0.4;0.5]; net.LW{2}=[0.5 0.2 0.1 0.4 ]; %设置第一层第二层阈值均为零 net.b{1}=net.b{1}*0; net.b{2}=net.b{2}*0; %网络训练参数设置 net.trainparam.goal=0.0001;%设置训练误差值 net.trainparam.show=50;%设置数据显示刷新频率，学习５０次刷新一次图象 net.trainparam.epochs=1000;%设置训练次数 [net,tr]=train(net,P,T);%进行网络训练 Y=sim(net,P);%进行仿真运算 pause plot(P,T,P,Y,r) net.IW{1}%输出第一层权值 net.LW{2}%输出第二层权值 程序2 579次学习训练结果 TRAINLM, Epoch 250/1000, MSE 0.0004573/0.0001, Gradient 0.0153443/1e-010 TRAINLM, Epoch 300/1000, MSE 0.000432378/0.0001, Gradient 0.118783/1e-010 TRAINLM, Epoch 350/1000, MSE 0.000323387/0.0001, Gradient 0.0136006/1e-010 TRAINLM, Epoch 400/1000, MSE 0.000291696/0.0001, Gradient 01e-010 TRAINLM, Epoch 450/1000, MSE 0.000268621/0.0001, Gradient 0.0024979/1e-010 TRAINLM, Epoch 500/1000, MSE 0.000268481/0.0001, Gradient 1.94005e-006/1e-010 TRAINLM, Epoch 550/1000, MSE 0.000268481/0.0001, Gradient 8.18043e-009/1e-010 TRAINLM, Epoch 579/1000, MSE 0.000268481/0.0001, Gradient 2.45883e-010/1e-010 TRAINLM, Maximum MU reached, performance goal was not met. W1 = -0.7044 -5.5470 -13.1458 3.9445 W2 = 3.3308 -0.6611 -0.2753 1.2390 程序2也没有实现训练精度! 程序1每执行一次会得到不同的训练结果,而程序2每次运行的结果总是相同的,都学习579次,权值解也不变.为什么? 因为,程序1的权值是每次随机生成,训练权值的起点不同,所得结果会不同.而程序2的初始权值是固定的,也就是说,从误差曲面的起点是固定的,训练方法一定的情况下,所的的解当然是不变的. 上述两程序,已经采用了不同的学习训练方法,但仍求不出理想效果,可以肯定的原因是:? 1.再增加隐节点试试 。 2.虽然本问题看似简单,可就曲线来看,是个不连续函