线性神经网络 DTTline5.pptVIP

线性神经网络 自适应线性元件(Adaptive Linear Element，简称Adaline) 由威德罗（Widrow）和霍夫（Hoff）首先提出的。 它与感知器的主要不同之处在于其神经元有一个线性激活函数，这允许输出可以是任意值，而不仅仅只是像感知器中那样只能取0或1。 它采用的是W—H学习法则，也称最小均方差（LMS）规则对权值进行训练。 线性神经网络的主要用途是线性逼近一个函数。 1 线性神经元模型和结构 图1 线性神经网络的结构 2 W－H学习规则 Widrow—Hoff学习规则是由威德罗和霍夫提出的用来修正权矢量的学习规则。 W—H学习规则可以用来训练一定网络的权值和阈值，使之线性地逼近一个函数。 定义一个线性网络的输出误差函数为： 我们的目的是通过调节权矢量，使E(W, B)达到最小值。 所以在给定E (W, B)后，利用W—H学习规则修正权值矢量和阈值矢量，使E (W, B)从误差空间的某一点开始，沿着E (W, B)的斜面向下滑行。 根据梯度下降法，权矢量的修正值正比于当前位置上E (W, B)的梯度，对于第i个输出节点有： 或表示为： ?为学习速率。在一般的实际运用中，实践表明，?通常取一接近1的数，或取值为： det用于计算方阵的行列式。 学习速率的这一取法在神经网络工具箱中用函数maxlinlr.m来实现。 W—H学习规则的函数为：learnwh.m来实现，加上线性网络输出函数purelin.m，可以写出W—H学习规则的计算公式为： A＝purelin(W*P)； E＝T-A； [dW, dB]＝learnwh(P, E, h)； W＝W+dW； B＝B+dB； 采用W—H规则训练线性神经网络使其能够得以收敛的必要条件是被训练的输入矢量必须是线性独立的，且应适当地选择学习速率以防止产生振荡现象。 3 网络训练 线性神经网络的训练过程可以归纳为以下三个步骤： 1)表达：计算训练的输出矢量A＝W*P+B，以及与期望输出之间的误差E＝T-A； 2)检查：将网络输出误差的平方和与期望误差相比较，如果其值小于期望误差，或训练已达到事先设定的最大训练次数，则停止训练；否则继续； 3)学习：采用W—H学习规则计算新的权值和偏差，并返回到1)。 线性神经网络的创建 net = newlin (PR, S) PR为R ? 2维矩阵，表示R维输入矢量中每维输入的最小值和最大值之间的范围； S表示神经元个数； net表示创建的感知器神经网络对象。 线性神经网络的训练 net = train (net, p, t) net表示训练前、后的感知器神经网络对象； p表示输入矢量； t表示目标矢量。 线性神经网络的仿真 a = sim (net, p) a表示实际输出矢量。 线性神经网络的直接设计法 net = newlind (p, t) 无须经过训练，可直接设计出线性神经网络，使得网络实际输出与目标输出的平方和误差SSE为最小。 4 对比与分析 感知器神经网络和线性神经网络 (1) 网络模型结构 结构上的主要区别在于激活函数：一个是二值型的，一个线性的。 当把阈值与权值考虑成一体时，线性神经网络的输入与输出之间的关系可以写成A＝W*P。如果P是满秩（P是行列式不等于零）的话，则可以写成AP-1＝W，或W=A/P。 (2) 学习算法 感知器神经网络的算法是最早提出的可收敛的算法，它的自适应思想被威德罗和霍夫发展成使其误差最小的梯度下降法。最后又在BP算法中得到进一步的推广，它们属于同一类算法。 (3) 适用性与局限性 感知器神经网络仅能够进行简单的分类，且仅能对线性可分的输入进行分类。 线性神经网络除了像感知器一样可以进行线性分类外，又多了线性逼近功能，这是由于其激活函数可以连续取值而不同于感知器的仅能取0或1的缘故。 5 例题 例5.1 设计线性神经网络实现从输入矢量到输出矢量的变换关系。其输入矢量和输出矢量分别为： P＝[0.8 -2.0] T＝[0.5 1.0] 5 例题 例5.2 设计线性神经网络求取非线性问题的最佳线性拟合解。其输入矢量和输出矢量分别为： P＝[1.0 1.2 3.0 -1.2] T＝[0.4 1.0 3.0 -0.5] 5 例题