第二章 感知器网络的.pptVIP

第二章感知器网络;2.1 标准M－P模型;通常考虑某一神经元要受到其他神经元的作用，因而总是以n个神经元相互连接形成神元计算模型。一个神经元具备相应的输入和输出。但是神经元自身的状态，决定其输出的有无，即每一个神经元从其他n－1个神经元接受信息，产生神经兴奋和冲动。在其他条件不变的情况下，不论何种刺激，只要达到阈值以上就能产生一个动作电位，并以最快速度作非衰减的等幅传递输出。一旦输人的总和小于阈值，神经元处于抑制状态，没有被激励，也就没有任何输出产生。; 对n个互连的神经元中的第i个神经元，外界输入的总和影响其激励值。i神经元的状态以某种函数形式输出，即有：;如果把阈值θi看作为一个特殊的权值，则改写为;2.2 简单感知器;感知器在形式上与M－P模型差不多，它们之间的区别在于神经元间连接权的变化。感知器的连接权定义为可变的，这样感知器就被赋予了学习的特性。;感知器的学习是有监督学习,感知器的训练算法的基本原理来源于著名的Hebb学习律，其基本思想是：逐步地将样本集中的样本输入到网络中，根据输出结果和理想输出之间的差别来调整网络中的权矩阵。 设W为网络的权向量，X为输入向量;一、离散单输出感知器训练算法: 1.初始化权向量W； 2.重复下列过程，直到训练完成： 对样本集中的每一个样本X (1)输入X； (2)计算O＝F(XW)； (3)如果输出不正确，则 当O＝0时，取W＝W+X 当O＝1时，取W＝W-X 上述算法中，当O＝0时，按W+X修改权向量W。这是因为，理想输出本来应该是1，但现在却是0，所以相应的权应该增加，而且是增加对该样本的实际输出真正方贡献的权。当O＝1时恰好相反。;二、离散多输出感知器训练算法: 1.初始化权向量W； 2.重复下列过程，直到训练完成： 对样本集中的每一个样本X (1)输入X； (2)计算O＝F(XW)； for i＝1,m执行如下操作 oi≠yi Then if oi＝0 then for j＝1,n wij=wij+xi else for j＝1,n wij=wij-xi 在算法中，依次对输出层的每一个神经元的理想输出和实际输出进行比较。如果它们不相同则对相应的联接权进行修改,相当于将对离散单输出感知器的神经元的处理逐个地用于离散多输出感知器输出层的每一个神经元。;三、连续多输出感知器训练算法: 1.用适当的小伪随机数初始化权矩陈W； 2.初始精度控制参数ε、学习率α、精度控制变量d= ε+1 3．While d≥ ε do d=0 for 每个样本(x，y) do 输入样本x={x1,x2,…,xn} 计算O＝F(XW) 修改权矩阵W： for i＝1, n, j＝1,m wij=wij+ α (yj-oj)xi 计算累积误差 for j＝1, m do d=d+(yj-oj)2;误差型学习规则： (1)任选一组初始权值Wi(0) (2)计算某一输入模式对应的实际输出与期望输出的误差δ (3)如果δ 小于给定值，结束，否则继续。 (4)更新权值(阈值可视为输入恒为1的一个权值）：;感知器举例;Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd.;Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd.;线性不可分问题－多层感知器; 由定义可知，这是一个双输入、单输出的问题，也就是说如果感知器能够表达它，则此感知器输入应该是一个二维向量，输出则为标量。因此，该感知器可以只含有一个神经元。设输入向量为(x，y)，输出为O，神经元的阈值为θ。从网络函数图可以看出，无论如何选样a,b θ的值，都无法使得直线将点(0,0)和点(1,1)划分开来。即使使用S形函数也难以做到这一点。这种单层感知器不能表达的问题被称为线性不可分问题：;如果在输入和输出层间加上一层或多层的神经元(隐层神经元)，就可构成多层前向网络, 称为多层感知器;Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd.;感知器收敛定