[工学]神经网络 第二章 单层前向网络及LMS算法.pptVIP

神经网络原理 第二章 单层前向网络及LMS算法 1、单层感知器 2、单层感知器的学习算法 3、自适应线性神经元 4、LMS学习算法 5、仿真实例 感知器是由美国学者F.Rosenblatt在1957年首次提出的神经网络模型。 LMS算法是由Widrow和Hoff在1960年提出的高效率易实现的自适应滤波算法。 LMS（Least-Mean-Square)算法，可称为最小均方误差算法或梯度算法，也称为Delta规则。 本章首先介绍单层感知器及其学习算法，然后介绍自适应线性元件及LMS算法，最后给出典型算法的仿真实例。 2.1 单层感知器 *感知器是神经网络用来进行模式识别的一种最简单模型。 *单层感知器只能用来实现线性可分的两类模式的识别。 *单层感知器模型与MP模型的不同之处是其神经元的突触权值是可调的，这样就可以进行学习。 *感知器模型在神经网络研究中具有重要的意义和地位。 感知器包括一个线性累加器和一个二值阈值元件，同时还有一个外部偏差b。线性累加器的输出作为二值阈值元件的输入。 二值阈值元件的输入为正数时，神经元输出 -1或0 。 单层感知器可实现两类目标的识别，当感知器输出为+1时，我们认为输入模式为一类；当感知器输出为-1时，我们认为输入模式为另一类。 2.1.2单层感知器的学习算法 单层感知器的学习算法是基于叠代的思想，通常是采用纠错学习规则的学习算法。 为方便，将偏差b 作为权向量的一个分量加到权值向量中去，对应的输入向量也增加一项，可设输入向量的第一个分量固定为+1，则输入向量和权值向量可写成如下形式： 其中，变量n为叠代次数，b(n)可用 表示,则二值阈值元件的输入(激活值)可重新写为： 令上式等于零，即可得在m信号空间的单层感知器 的判决超平面。 学习算法如下： 第一步 设置变量和参量： b(n)为偏差。 y(n)为实际输出。 d(n)为期望输出。 为学习速率。 n为迭代次数。 第二步 初始化，赋给 [-1，1]区间内的随机非零值，n=0。 第三步 对于一组输入样本 指定它的 期望输出d。 第四步 计算实际输出： 第五步 调整权向量： 第六步 判断是否满足条件，若满足算法结束，若不 满足则n值增加1，转到第三步重新执行。 注意：在第六步判断的条件可以是： 误差小于设定值，即 ； 权值的变化量已很小，即 迭代次数大于N 在感知器学习算法中，重要的是引入了一个量化的期望输出d(n)，其定义为： 采用纠错学习规则对权向量进行逐步修正，对于线性可分的两类模式，可以证明单层感知器的学习算法是收敛的。 2.1.3 matlab工具箱应用 1.Newp 感知器生成函数 感知器生成函数newp用于创建一个感知器网络，调 用格式为： net =newp(pr,s,tf,lf) 其中 net: 函数返回参数，表示生成的感知器网络； net =newp: 表示在一个对话框中定义感知器的属性； pr: 一个R×2的矩阵，由R组输入向量的最大值和最小值组成； s: 神经元的个数； tf: 感知器的传递函数,可选参数为hardlim和hardlims,默认为hardlim; lf: 感知器的学习函数,可选参数为learnp和learnpn,默认为learnp. 该函数返回一个新的感知器网络。 2. Sim 神经网络仿真 函数sim用于仿真一个神经网络，调用格式为： [Y, Pf, Af]= sim (net, P, Pi, Ai) 其中： net 神经网络； P 网络的输入； Pi 初始输入延迟，缺省值为0； Ai 初始的层延迟，缺省值为0。 该函数返回 Y 网络的输出； Pf 最终输出延迟； Af 最终的层延迟。 3. init 神经网络初始化 调用格式为：net=init(net) init函数调用NET.initFcn函数，根据NET,initParam 设定的参数对网络的权值和阈值进行初始化。 4. adapt 神经网络的自适应 格式：[net,Y,E,Pf,Af]=adapt (NET, P, T, Pi, Ai ) 其中： NET 一个神经网络； P 网络的输入； Pi