第七章 ANN_中文_2012.pptVIP

收敛性 g(p) = 1 + sin(?p), – 2 ? p ? 2 收敛的全局最小 收敛到局部极小 网络确实可以逼近给定的函数, 但学习算法没有收敛到使网络有良好逼近性能的网络参数. 即使反传算法收敛了, 我们也不能确保得到了一个最优解. 可以采用不同的初始条件多试几次, 以保证得到最优解. Generalization 例: , – 2 ? p ? 2 对上面的函数在点 p = – 2, –1.6, –1.2, …, 1.6, 2 处采样得到训练集. 1-2-1 Network 1-9-1 Network, overfit 如果要一个网络的推广性能好, 那么它所含参数的个数应小于训练集中数据点的个数. 小网络就可以完成的工作, 就不要用大网络 训练集与测试集 反传算法的一些改进 Momentum (0 ? 1) 可变学习率 共轭梯度 Levenberg-Marquardt 算法 牛顿方法 MATLAB 函数 Net = newff(PR,[S1 S2 … SN], {TF1 TF2 … TF3}, BTF, PF) PR: R?2 矩阵, 由R个输入元素的最小和最大允许值构成. Si: 总共N层, 其中第 i 层的神经元个数. TFi:第 i 层的激励函数, 默认值为tansig. BTF: 反传网络训练函数,默认值为trainlm. PF: 性能函数,默认值为mse. 该函数返回一个N层的前馈BP网络. 例 P = [0 1 2 3 4 5 6 7 8 9 10];T = [0 1 2 3 4 3 2 1 2 3 4]; net = newff([0 10],[5 1],{tansig purelin}); Y = sim(net,P); plot(P,T,P,Y,o) net.trainParam.epochs = 50; net = train(net,P,T); Y = sim(net,P); plot(P,T,P,Y,o) 径向基函数网络 ? b w1 wj wm p1 p2 pn-1 pn … … … … … a G G G 用MATLAB进行精确设计: Net = newrbe(P, T, SPREAD) P: 训练集中的输入向量 T: 对应的目标向量(期望输出) SPREAD: spread constant. G(SPREAD) = 0.5. 默认值 = 1. Net: 一个当输入是P时, 输出就是T的径向基网络. 函数 newrbe 生成的网络其隐层神经元个数与训练集中输入向量的个数一样多. 我们在实际工作中遇到的典型情况是: 训练集中有大量的输入-目标输出向量对, 需要用这些数据来得到合适的径向基网络. 用函数newrbe所得到的网络隐层神经元就会太多, 一般是不可接受的解. Generalization 更有效的设计 Net = newrb(P, T, GOAL, SPREAD) 在每次迭代时, 使网络误差下降最多的那个输入向量用来产生一个径向基神经元. 检查新网络的误差. 如果误差已经足够小, newrb就结束运算, 否则就加入下一个神经元. 重复这个过程, 直到达到事先确定的误差标准, 或者达到可允许的最大神经元个数. newrb 一次只产生一个神经元. 径向基网络 vs. 多层感知器 径向基网络一般比同性能的多层感知器需要更多的神经元. 另一方面, 设计径向基网络通常比训练多层感知器所需要的时间少, 而且有时候也可能会只需要用更少的神经元. 例 P = -1:.1:1; T = [-.9602 -.5770 -.0729 .3771 .6405 .6600 .4609 … .1336 -.2013 -.4344 -.5000 -.3930 -.1647 .0988 … .3072 .3960 .3449 .1816 -. 0312 -.2189 -.3201]; subplot(2,2,1); plot(P,T,+); title(Training Vectors); xlabel(Input Vector P); ylabel(Target Vector T); p = -3:.1:3; a = radbas(p); subplot(2,2,2); plot(p,a) title(Radial Basis Transfer Function); xlabel(Input p); ylabel(Output a); a2 = radbas(p-1.5); a3 = radbas(p+2); a4 = a + a2*1 + a3*0.5; subplot(2,2,3); plot(p,a,b-,p,a2,b--,p,a3,b