单反发展历史汇编.docx

第 2 章 单层前向网络及LMS学习算法 2.1 单层感知器 2.2 自适应线性神经网络 2.3 LMS学习算法 2.1单层感知器 2.1.1 单层感知器模型 2.1.2 单层感知器的学习算法 2.1.1 单层感知器模型 单层感知器模型 感知器的神经元的突触权值是可变的，这样就可以进行学习。 单层感知器模型 使用单层感知器的目的就是让其对外部输入x1, x2, …, xm进行识别分类，单层感知器可将外部输入分为两类l1和l2。关键在于寻求权值向量wij和偏差值b。 2.1.2 单层感知器的学习算法 单层感知器对权值向量的学习算法是基于迭代的思想，通常是采用纠错学习规则的学习算法。 为方便起见，将偏差b作为神经元突触权值向量的第一个分量加到权值向量中去，那么对应的输入向量也应增加一项，可设输入向量的第一个分量固定为+1，这样输入向量和权值向量可分别写成如下的形式： 其中的变量n表示迭代次数，其中的b n 可用w0 n 表示，则感知器的输入可重新写为： 令上式等于零，即可得在m维信号空间的单层感知器的判决超平面。 单层感知器的学习算法： 第一步：设置变量和参量： X n [1, x1 n , x2 n , …, xm n ]T为输入向量，或称训练样本； W n [b n , w1 n , w2 n , …, wm n ] T 为权值向量； b n 为偏差；y n 为实际输出； d n 为期望输出；η为学习速率；n为迭代次数。 单层感知器的学习算法 第二步：初始化，n 0，赋给W n [b n , w1 n , w2 n , …, wm n ] T各项一个较小的随机非零值 ； 第三步：对于一组输入样本X n [1, x1 n , x2 n , …, xm n ] T ，指定它的期望输出（亦称为导师信号）。 第四步：计算实际输出： 单层感知器的学习算法 第五步：调整感知器的权值向量： 第六步：判断是否满足条件，若满足算法结束，若不满足将n值增加1，转到第三步重新执行。 单层前向网络 实现“与”逻辑函数的NN 单层感知器的Matlab实例程序 2.2 自适应线性神经网络ADALINE ADALINE的训练过程与感知器类似： 计算输出向量A W*P+B，以及与期望值之间的误差E T-A。（任意值，非二进制数值） 如果E小于期望误差，或者训练次数达到最大次数，则停止训练，否则继续训练。 训练方法仍然采用LMS算法: 2.3 LMS学习算法 LMS Least Mean Square Error ：最小均方误差学习算法，基于负梯度下降原则减少训练误差。 感知器和自适应线性元件在历史上几乎是同时提出的，并且两者在对权值的调整的算法非常相似，它们都是基于纠错学习规则的学习算法。 而由美国斯坦福大学的Widrow和Hoff在研究自适应理论时提出的LMS算法，由于其容易实现而很快得到了广泛的应用，成为自适应滤波的标准算法。 LMS学习算法 设e n 为在时刻n时的误差信号，E W 为代价函数： X n 、W n 都为列向量。 对上式两边求关于权值向量W的导数可得： LMS算法 第一步：设置变量和参量： X n [1, x1 n , x2 n , …, xm n ]为输入向量，或称训练样本； W n [b n , w1 n , w2 n , …, wm n ]为权值向量； b n 为偏差；y n 为实际输出；d n 为期望输出； η为学习速率；n为迭代次数。 第二步：初始化，赋给Wj 0 各一个较小的随机非零值， n 0； LMS算法（续） 第三步：对于一组输入样本X n [1, x1 n , x2 n , …, xm n ]和对应的期望输出，计算： 第四步：判断是否满足条件，若满足算法结束，若不满足将n值增加1，转到第三步重新执行。 * 判别边界 对于线性可分的两类模式，单层感知器的学习算法是收敛的。 b w1 x1 x2 x1 x2 v w1·x1＋w2·x2－b 条件 0 0 0 v w1·0＋w2·0－b 0 0 1 0 v w1·0＋w2·1－b w2 1 0 0 v w1·1＋w2·0－b 0 1 1 1 v w1·1＋w2·1－b≥0 b≤w1＋w2 可解。比如取w1 1，w2 1，b 1.5。 “与”逻辑函数的功能实现 “与”运算图示，线性可分，可以实现 “或”运算图示，线性可分，可以实现 “异或”运算图示，线性不可分，不可以实现 1 x 2 x 2 w u v y b w1 Sgn X 1 【例P21a】 感知器 实现与逻辑函数的功能 [W,B,ep