我的人工神经网络-5自适应线性元件.ppt

WIT-SCSE 训练后的网络权值为： 网络训练过程中的误差记录 WIT-SCSE 对于存在零误差的精确权值网络，若用函数solvelin.m来求解，则更加简单如下： ％wf3.m ％ P＝[1 1.5 1.2 –0.3; -1 2 3 –0.5; 2 1 –1.6 0.9]; T＝[0.5 3 –2.2 1.4; 1.1 –1.2 1.7 –0.4; 3 0.2 –1.8 -0.4; -1 0.1 –1.0 0.6]; [W，B]＝solvelin(P,T); A＝simulin (P, W, B); SSE＝sumsqr (T-A) W B end WIT-SCSE 由此可得零误差的唯一精确解为： WIT-SCSE [例5．3]设计训练一个线性网络实现下列从输入矢量到目标矢量的变换： 所给出的输入矢量元素之间是线性相关的：第三组元素等于第二组元素的两倍减去第一组：P3＝2P2－P1。 由于输入矢量的奇异性，用函数solvelin.m来设计时网络会产生问题。只有在能够线性地解出问题的情况下，用函数solvelin.m才比较准确。 WIT-SCSE 只要将前面已编写的wf2.m程序中的输入与目标矢量改变一下，并给出(—l，1)之间的随机初始值，即可运行看到本例的结果。 其最终误差在1.04左右，这就是本例题下的最小误差平方和， 而当采用完全线性函数的设计solvelin.m去求解网络权值时，所得到的误差是4.25。 采用W—H算法训练出的误差是它的1／4，由此可见其算法的优越性。 WIT-SCSE [例5．4]现在假定在[例5．1]的输入／输出矢量中增加两组元素，使其变为 P＝[1.0 1.5 3.0 -1.2] T＝[0.5 1.1 3.0 -1.0] 本例题的目的是在于了解自适应线性网络的线性逼近求解的能力。 图5．4给出了输入输出对应的位置以及网络求解的结果。对于所设置的err_goal＝0.001, 在循环训练了50次后所得的误差平方和仍然为：SSE＝0.289。这个值即是本题所能达到的最小误差平方和的值。 当采用线性自适应线性网络求解问题所得到的误差特别大时，可以认为此问题不适宜用线性网络来解决。 WIT-SCSE 图5. 4网络训练结果图 WIT-SCSE 自适应线性网络还有另一个潜在的困难，当学习速率取得较大时，可导致训练过程的不稳定。 [例5．5]输入/目标矢量与[例5．1]相同。我们将以不同的学习速率训练两次网络以展现两种不希望的学习速率带来的影响。 以例5.1 为样本， 1)对于第一个尝试，学习速率lr取： 1r＝1.7*maxlinlr(P)； 2)第二个尝试是选用更大学习速率： 1r＝2.5*maxlinlr(P); WIT-SCSE WIT-SCSE 5．5对比与分析 感知器和自适应线性网络 (1)网络模型结构上 感知器和自适应线性网络而言，结构上的主要区别在于激活函数：一个是二值型的，一个线性的。 当把偏差与权值考虑成一体时，自适应线性网络的输入与输出之间的关系可以写成A＝W*P。如果P是满秩的话，则可以写成AP-1＝W，或W=A/P。 WIT-SCSE (2)学习算法 感知器的算法是最早提出的可收敛的算法，它的自适应思想被威德罗和霍夫发展成使其误差最小的梯度下降法。最后又在BP算法中得到进一步的推广，它们属于同一类算法。 WIT-SCSE (3)适用性与局限性 感知器仅能够进行简单的分类。从前面的例题中已经看出，感知器可以将输入分成两类或四类等。它的局限性是仅能对线性可分的输入进行分类。 自适应线性网络除了像感知器一样可以进行线性分类外，又多了线性逼近，这仅是由于其激活函数可以连续取值而不同于感知器的仅能取0或1的缘故。 WIT-SCSE 作业 : 设计一个有三个输入的单层线性网络： P={2 3 2.4 -0.6; -2 4 6 -1; 4 2 -3.2 1.8} T={1 6 -4.4 2.8; 2.2 -2.4 3.4 -0.8; 6 0.4 -3.6 -0.8; -2 0.2 -2 1.2} WIT-SCSE 5．6 本章小结 1)自适应线性网络仅可以学习输入输出矢量之间的线性关系，可用于模式联想及函数的线性逼近。网络结构的设计完全由所要解决的问题所限制，网络的输入数目和输出层中神经元数目，由问题所限制； 2)多层线性网络不产生更强大的功能，从这个观点上看，单层线性网络不比多层线性网络有局限性； 3)输入和输出之间的非线性关系不能用一个线性网络精确地设计出，但线性