自适应线神经元.pptVIP

北京科技大学付冬梅北京科技大学付冬梅北京科技大学付冬梅北京科技大学付冬梅2006-11-28北京科技大学付冬梅*第四章自适应线性神经元第四章自适应线性神经元2006-11-28北京科技大学付冬梅*单层自适应线性神经元的学习方法MATLAB程序仿真单个自适应线性神经元的学习方法关于自适应线性神经元的几点说明自适应线性神经元模型4.1自适应线性神经元模型2006-11-28北京科技大学付冬梅*线性神经元模型如图所示：I/O关系a=purelin(W*P+b)基于最小二乘的一次性学习算法注意到O=KO’+b，所以有O’=(O-b)/K，同理有：y’=(y-b)/K，所以{X，Y’}仍是样本对。2单个自适应线性神经元的学习方法4.2单个自适应线性神经元的学习方法2006-11-28北京科技大学付冬梅*基于梯度的学习算法(内部反馈)后），对于输入，个次学习以后（即得到第设经过后，或者没有初始权值感知机的输出为：其中则感知机的输出误差为：又设在同样输入作用下，样本输出根据上面的推导，我们可以给出感知器（单个且）根据建立在梯度法基础上的最小均方差（LMS）算法得知，被调整的参数（这里是）的修改应该向着梯度的反方向进行，此处梯度为：因此我们有：权值调整的具体学习步骤：即：（1）随机初始化权值和阈值：4.2单个自适应线性神经元的学习方法为迭代次数，按：作为输入向量，,则表明分类正确，而不需要调整权值和阈值，如此类中了，需按下面步骤调整权值。错分到作为本次的训练，并以此为输入计算中的比如选中（2）在A样本集合{A，B}中，任选一个感知机的输出：，表明将（3）若可回到（2）步，并重新选一个新的训练样本。如果其中：是理想输出，即样本输出）调整权值，此处为学习率。为期望输出，直到计算为止。（4）设4.2单个自适应线性神经元的学习方法4.2单个自适应线性神经元的学习方法2006-11-28北京科技大学付冬梅*（5）重新在A，B样本集中选择另一个样本进行学习，即重复（2）~（5），直到对所有均成立，对所有样本均正确分类，则学习结束。①上面的算法适合这样连续激励函数，但是来作为迭代的标准，往往以误差，则不要调整权值，否则进行（4）步。说明：此时不能用大小作为限制，即在算法的第（3）步中，②理想输出不一定非得是+1或-1，可以使其他的实数。4.2单个自适应线性神经元的学习方法2006-11-28北京科技大学付冬梅*基于梯度的学习算法(外部反馈)后），对于输入，个次学习以后（即得到第设经过后，或者没有初始权值感知机的输出为：其中则感知机的输出误差为：又设在同样输入作用下，样本输出根据建立在梯度法基础上的最小均方差（LMS）算法得知，被调整的参数（这里是）的修改应该向着梯度的反方向进行，此处梯度为：因此我们有：即：4.2单个自适应线性神经元的学习方法基于梯度的学习算法(外部反馈)4.3单层自适应线性神经元的学习方法2006-11-28北京科技大学付冬梅*基于最小二乘的一次性学习算法2006-11-28北京科技大学付冬梅*基于梯度的学习算法设样本集为（X，Y），取、样本。设已训练了n0次得到的权值为：则由网络计算得到的输出为：4.3单层自适应线性神经元的学习方法4.3单层自适应线性神经元的学习方法2006-11-28北京科技大学付冬梅*010203用分量表示之为：则此时网络的误差为：根据梯度下降法我们可以知道：故有：013单层自适应线性神经元的学习方法02由此可得递推算法如下：4.3单层自适应线性神经元的学习方法2006-11-28北京科技大学付冬梅*随机初始化权值和阈值，即令：系数取不等于零的正小数，以使初始化权值比较小。在样本集合（X，Y）中，任选一个和作为训练样本，计算感知器的实际输出：4.3单层自适应线性神经元的学习方法2006-11-28北京科技大学付冬梅*调整权值：然后返回2）。若（规定的最小误差），则不需调整权值，回到（2）步，取另一样本进行训练，否则进行如