第6章 神经网络－感知器和 与自适应元件.ppt

第六章 感知器与自适应元件;内容安排 6.1 感知器 6.1 自适应元件 ;6.1 感知器;感知器是由美国计算机科学家罗森布拉特（F.Roseblatt）于1957年提出的。 单层感知器神经元模型图：; F.Roseblatt已经证明，如果两类模式是线性可分的（指存在一个超平面将它们分开），则算法一定收敛。 感知器特别适用于简单的模式分类问题，也可用于基于模式分类的学习控制中。 本节中所说的感知器是指单层的感知器。多层网络因为要用到后面将要介绍的反向传播法进行权值修正，所以把它们均归类为反向传播网络之中。 ;6.1 .2 感知器的图形解释 ; 以输入矢量r＝2为例，对于选定的权值w1、w2和b，可以在以p1和p2分别作为横、纵坐标的输入平面内画出W*P+b＝w1 p1十w2 p2十b＝0的轨迹，它是一条直线，此直线以上部分的所有p1、p2值均使w1 p1十w2 p2十b＞0，这些点若通过由w1、w2和b构成的感知器则使其输出为1；该直线以下部分的点则使感知器的输出为0。 所以当采用感知器对不同的输入矢量进行期望输出为0或1的分类时，其问题可转化为：对于已知输入矢量在输入空间形成的不同点的位置，设计感知器的权值W和b，将由W*P+b＝0的直线放置在适当的位置上使输入矢量按期望输出值进行上下分类。 ;图 输入矢量平面图;6.1.3 感知器的学习规则 ;如果第i个神经元的输出是正确的，即有：ai＝ti，那么与第i个神经元联接的权值wij和偏差值bi保持不变； 如果第i个神经元的输出是0，但期望输出为1，即有ai＝0，而ti＝1，此时权值修正算法为：新的权值wij为旧的权值wij加上输人矢量pj；类似的，新的偏差bi为旧偏差bi加上它的输入1； 如果第i个神经元的输出为1，但期望输出为0，即有ai＝1，而ti＝0，此时权值修正算法为：新的权值wij等于旧的权值wij减去输入矢量pj；类似的，新的偏差bi为旧偏差bi减去1。 感知器学习规则的实质为：权值的变化量等于正负输入矢量。 ; 对于所有的i和j，i＝l，2，…，s；j＝1，2，…，r，感知器修正权值公式为： ;6.1.4 网络的训练 ; 感知器设计训练的步骤可总结如下： 1) 对于所要解决的问题，确定输入矢量P，目标矢量T，并由此确定各矢量的维数以及确定网络结构大小的神经元数目：r，s和q； 2) 参数初始化： a) 赋给权矢量w在(-1，1)的随机非零初始值； b) 给出最大训练循环次数max_epoch； 3) 网络表达式：根据输人矢量P以及最新权矢量W，计算网络输出矢量A； 4) 检查：检查输出矢量A与目标矢量T是否相同，如果是，或已达最大循环次数，训练结束，否则转入5)； 5) 学习：根据(4．5)式感知器的学习规则调整权矢量，并返回3)。;6.1. 5 感知器神经网络应用的局限性 ;6.1. 6 感知器神经网络设计实例 ;代数求解法; 当采用感知器神经网络来对此题进行求解时，网络结构图如图4．5所示。 ; 作业 ; 感知器的局限性 ;6.2 自适应元件; 自适应线性元件(Adaptive Linear Element，简称Adaline) ，由威德罗（Widrow）和霍夫（Hoff）首先提出的，它与感知器的主要不同之处在于其神经元有一个线性激活函数，这允许输出可以是任意值，而不仅仅只是像感知器中那样只能取0或1。 它采用的是W—H学习法则，也称最小均方差(LMS)规则对权值进行训练。 自适应线性元件的主要用途是线性逼近一个函数式而进行模式联想。 ;6.2.1 自适应线性神经元模型和结构 ;6.2.2 W－H学习规则 ;定义一个线性网络的输出误差函数为： ; 根据梯度下降法，权矢量的修正值正比于当前位置上E(W，B)的梯度，对于第i个输出节点有： ; η为学习速率。在一般的实际运用中，实践表明，η通常取一接近1的数，或取值为：; W—H学习规则的函数为：learnwh.m来实现，加上线性自适应网络输出函数purelin.m，可以写出W—H学习规则的计算公式为： A＝purelin(W*P)； E＝T—A