第四章自适应线性神经元要点.pptVIP

第四章 自适应线性神经元 第四章 自适应线性神经元 自适应线性神经元模型 单个自适应线性神经元的学习方法 单层自适应线性神经元的学习方法 MATLAB程序仿真 关于自适应线性神经元的几点说明 4.1自适应线性神经元模型 线性神经元模型如图所示： I/O关系 a=purelin(W*P+b) 基于最小二乘的一次性学习算法 4.2单个自适应线性神经元的学习方法 注意到O=KO’+b，所以有O’=(O-b)/K， 同理有： y’=(y-b)/K，所以{X，Y’}仍是样本对。 基于梯度的学习算法(内部反馈) 后），对于输入 ， 个 次学习以后（即得到第 设经过 后，或者没有初始权值 感知机的输出为： 其中 4.2单个自适应线性神经元的学习方法 4.2单个自适应线性神经元的学习方法 4.2单个自适应线性神经元的学习方法 ②理想输出不一定非得是+1或-1，可以使其他的实数。 4.2单个自适应线性神经元的学习方法 基于梯度的学习算法(外部反馈) 后），对于输入 ， 个 次学习以后（即得到第 设经过 后，或者没有初始权值 感知机的输出为： 其中 4.2单个自适应线性神经元的学习方法 根据建立在梯度法基础上的最小均方差（LMS）算法得知， 被调整的参数（这里是 ）的修改应该向着梯度的反方向进行， 此处梯度为： 因此我们有： 即： 4.2单个自适应线性神经元的学习方法 基于梯度的学习算法(外部反馈) 4.3单层自适应线性神经元的学习方法 基于最小二乘的一次性学习算法 基于梯度的学习算法 则由网络计算得到的输出为： 4.3单层自适应线性神经元的学习方法 用分量表示之为： 则此时网络的误差为： 根据梯度下降法我们可以知道： 4.3单层自适应线性神经元的学习方法 故有： 4.3单层自适应线性神经元的学习方法 由此可得递推算法如下： （1）随机初始化权值和阈值，即令： 系数取不等于零的正小数 ，以使初始化权值比较小。 （2）在样本集合（X，Y）中，任选一个 和 作为训练 样本，计算感知器的实际输出： 4.3单层自适应线性神经元的学习方法 3）若 （规定的最小误差），则不需调 整权值，回到（2）步，取另一样本进行训练，否则进行 如下的（4）步。 4）调整权值：然后返回2）。 4.3单层自适应线性神经元的学习方法 4.4 MATLAB程序仿真 例1、设计自能够适应线性神经网络实现从输入矢量到输出矢量的变换关系，其输入矢量和输出矢量分别为： P=[1.0 -1.2] T=[0.5 1.0] 程序1 P=[1.0 -1.2]; T=[0.5 1.0]; [Q,R]=size(P); [S,Q]=size(T); lr=0.4*maxlinlr(P); %最佳学习率 net=newlin(minmax(P),S,[0],lr); %创建线性网络 net.inputWeights{1,1}.initFcn=rands; %初始化权值 net.biases{1}.initFcn=rands; %初始化偏差 net=init(net); %把初始化的权值和偏差函数赋给网络 W0=net.iw{1,1} %显示初始化权值和偏差 B0=net.b{1} net.trainParam.epochs=20; %最大循环次数 net.trainParam.goal=0.001; %期望误差 [net,tr]=train(net,P,T); %进行线性自适应网络权值的训练 W=net.iw{1,1} %显示训练好的初始化权值和偏差 B=net.b{1} 4.4 MATLAB程序仿真 W = -0.2475 B = 0.7431 例1、设计自能够适应线性神经网络实现从输入矢量到输出矢量的变换关系，其输入矢量和输出矢量分别为： P=[1.0 -1.2] T=[0.5 1.0] 程序2 P=[1.0 -1.2]; T=[0.5 1.0]; net=newlind(P,T); %得到准确的线性自适应网络 W=net.iw{1,1} %显示训练好的初始化权值和偏差 B=net.b{1} 4.4 MATLAB程序仿真 W = -0.2273 B = 0.7273 例2：设计自能够适应线性神经网络实现从输入矢量到输出矢量的变换关系，其输入矢量和输出矢量分别为： P=[1.0 1.5 1.2 -0.3