第三章：前向网络.ppt

第二讲：前馈神经网络 主要内容 一：前向网络简介 二：具有硬限幅函数的单层网络的分类功能（感知 器） 三：具有线性函数的单层网络的分类功能 四：前向多层网络的分类功能 五：BP网络及BP算法以及BP网络的应用 2.1 前向网络简介 1.前向网络的结构 前向网络主要分为单层网络和多层 网络。 多层网络不能隔层传递，无反馈。 2.输出函数主要有： 硬限幅函数1（.），sgn（.） 线性函数 非线性函数s（.），th（.） 3.前向网络的功能 只能完成联想和分类。 前向网络的本质由输入到输出 的静态映射。 4.学习算法： 算法，LSM算法， BP算法（误差反向传递算法） 2.2单层网络分类功能（感知器） 本节主要介绍: 单层网络的结构 调整连接权和阈值的学习规则（ 算法） 单层网络的训练和设计 单层网络分类的局限性 2.2 单层网络分类功能（感知器） 一.感知器是由美国计算机科学家罗森布拉特（F.Roseblatt）于1957年提出的。 单层感知器神经元模型图： 2.2 单层网络分类功能（感知器） 根据网络结构，可以写出第i个输出神经元(i＝1，2，…，s)的加权输入和ni以及其输出ai为： 其中， 为阈值， f[?]是阶跃函数。 线性可分概念 设有二维输入矢量 ，共有两类 ， 若可以用一条直线将其无误的分开，称为线性可 分。 2.2 单层网络分类功能（感知器） 一个简单的单神经元（感知器）分类的例子。 例：二维矢量 ，两类 如图： L 为分类线： 区为 区为 设一个单神经元 硬限幅函数 2.2 单层网络分类功能（感知器） 三.感知器网络的设计 设输入矢量 连接权 2.2 单层网络分类功能（感知器） 感知器设计训练的步骤可总结如下： 1)对于所要解决的问题，确定输入矢量P，目标矢量T，并由此确定各矢量的维数以及确定网络结构大小的神经元数目； 2)参数初始化： a)赋给权矢量w在(－l，1)的随机非零初始值； b)给出最大训练循环次数max_epoch； 3)网络表达式：根据输人矢量P以及最新权矢量W，计算网络输出矢量A； 4)检查：检查输出矢量A与目标矢量T是否相同，如果是，或已达最大循环次数，训练结束，否则转入5)； 5)学习：根据感知器的学习规则调整权矢量，并返回3)。 2.3具有线性函数的单层网络的分类功能 它与感知器的主要不同之处在于其神经元的激 活函数是线性函数，这允许输出可以是任意值，而 不仅仅只是像感知器中那样只能取0或1。 它采用的是W—H学习法则，也称最小均方差 (LMS)规则对权值进行训练 自适应线性元件的主要用途是线性逼近一个函 数式而进行模式联想。 2.3.1线性神经元模型和结构 一.线性神经元模型和结构 2.3.2 LMS（梯度下降）学习规则 二.采用线性函数分类任务的目标：所有可能的输入矢量与输出矢量的误差平方的统计量最小。 线性函数单神经元的分类任务中采用LMS算法调节连接权。LMS的算法如下： 2.3.2 LMS（梯度下降）学习规则 LMS梯度下降算法 训练方法：逐个处理、成批处理。 采用成批处理的方法： 设误差E采用下式表示: 2.4 前向多层网络的分类功能 一.采用硬限幅函数的前向多层网络分类功能 可以准确无误的完成对任何非交集合的分类。 缺点：没有找到有效的学习方法。 2.4 前向多层网络的分类功能 二.采用线性函数的多层网络分类功能 缺点：不能解决复杂的分类任务,分类能力很差，但是有有效的学习算法（LMS算法） 2）输入矢量线性可分时，学习在有限次数内收敛； 3）异或问题不可解。 4）感知器网络在NN的研究中有着重要意义和地位，其学习算法的自组织、自适应思想，是NN学习算法的基础。 2.2 单层网络分类功能（感知器） 图2. 5 自适应线性神经网络的结构 单神经元 多个神经元 其中yi=f[w?xi]是对应第i个样本xi的NN实时输出; oi是对应第i个样本xi的期望输出. 对W求偏导，有 令 则有 可写为 其中 所以 2.3.2 LMS（梯度下降）学习规则 要使误差E最小,可先求取E的梯度: 考虑到yi=f(ui)=f[wi?.xi],因此,有 2.3.2 LMS（梯度下降）学习规则 最后有按负梯度方向修改权系数w的修改规则: 即 其中?是权重变化率, 一般取0~1之间的小数. 若BP网络的神经元的非线性激发函数f(u)=1/[1+e-u],则有 2.3.2 LMS（梯度下降）学习规则 因此, 学习算法则为 若BP网络的神经元的线性激发函数f