第2章单层前向网络及LMS学习算法要点分析.ppt

第2章 单层前向网络及LMS学习算法 2.1单层感知器 2.2自适应线性元件 2.3 LMS学习算法 2.4 仿真实例 2.1单层感知器 2.1.1 单层感知器模型 2.1.2单层感知器的学习算法 2.1.1 单层感知器模型 单层感知器模型 感知器模型与MP模型的不同之处是假定神经元的突触权值是可变的，这样就可以进行学习。 单层感知器模型 使用单层感知器的目的就是让其对外部输入x1, x2, …, xm进行识别分类，单层感知器可将外部输入分为两类l1和l2。 2.1.2 单层感知器的学习算法 单层感知器对权值向量的学习算法是基于迭代的思想，通常是采用纠错学习规则的学习算法。 为方便起见，将偏差b作为神经元突触权值向量的第一个分量加到权值向量中去，那么对应的输入向量也应增加一项，可设输入向量的第一个分量固定为+1，这样输入向量和权值向量可分别写成如下的形式： 单层感知器的学习算法 其中的变量n表示迭代次数，其中的b(n)可用w0(n) 表示，则二值阈值元件的输入可重新写为： 令上式等于零，即可得在m维信号空间的单层感知器的判决超平面。 单层感知器的学习算法 第一步：设置变量和参量： X(n)= [1, x1(n), x2(n), …, xm(n)]为输入向量，或称训练样本； W(n)= [b(n), w1(n), w2(n), …, wm(n)]为权值向量； b(n) 为偏差；y(n)为实际输出； d(n)为期望输出；η为学习速率；n为迭代次数。 单层感知器的学习算法 第二步：初始化，赋给Wj(0)各一个较小的随机非零值， n = 0； 第三步：对于一组输入样本X(n)= [1, x1(n), x2(n), …, xm(n)]，指定它的期望输出（亦称之为导师信号）。 第四步：计算实际输出： 单层感知器的学习算法 第五步：调整感知器的权值向量： 第六步：判断是否满足条件，若满足算法结束，若不满足将n值增加1，转到第三步重新执行。 2.2 自适应线性元件 自适应线性元件 神经元i的输入信号向量： 突触权值向量： w0i常接有单位输入，用以控制阈值电平。 模拟输出： 二值输出： 自适应线性元件 假定只有两个输入x1和x2，则自适应线性元件的模拟输出为： 调整临界阈值条件，可令模拟输出为零，即 该方程为直线方程，即单个自适应线性元件实现线性可分函数。 2.3 LMS学习算法 感知器和自适应线性元件在历史上几乎是同时提出的，并且两者在对权值的调整的算法非常相似，它们都是基于纠错学习规则的学习算法。 感知器算法存在如下问题：（1）不能推广到一般的前向网络中去；（2）函数不是线性可分时，得不出任何结果。 而由美国斯坦福大学的Widrow和Hoff在研究自适应理论时提出的LMS算法，由于其容易实现而很快得到了广泛的应用，成为自适应滤波的标准算法。 LMS学习算法 设e(n)为在时刻n时的误差信号，E(W)为代价函数： 对上式两边求关于权值向量W的导数可得： LMS算法 第一步：设置变量和参量： X(n)= [1, x1(n), x2(n), …, xm(n)]为输入向量，或称训练样本； W(n)= [b(n), w1(n), w2(n), …, wm(n)]为权值向量； b(n) 为偏差；y(n)为实际输出；d(n)为期望输出； η为学习速率；n为迭代次数。 第二步：初始化，赋给Wj(0)各一个较小的随机非零值， n = 0； LMS算法（续） 第三步：对于一组输入样本X(n)= [1, x1(n), x2(n), …, xm(n)]和对应的期望输出，计算： 第四步：判断是否满足条件，若满足算法结束，若不满足将n值增加1，转到第三步重新执行。 2.4 仿真实例 【例2.1】试用单层感知器，实现逻辑“与”和“或”运算。 【例2.2】用单层感知器解决一个简单的分类问题。 【例2.3】用单层感知器实现多个神经元的分类。 【例2.4】线性不可分输入矢量。 【例2.5】设计自适应线性元件，实现从输入矢量到输出矢量的变换关系 . 【例2.6】用自适应线性元件解决一个较大的多神经元网络的模式联想的设计问题。 【例2.7】研究学习速率因子η取值不同对LMS学习算法的影响。 *合肥工业大学 计算机与信息学院 图像信息处理研究室 Te