第三章 神经网络1.2课件.ppt

7.3 前向神经网络模型 ★ 单一人工神经网络 ★ 单层人工神经网络（感知器网络） ★ 多层人工神经网络 ★ 多层人工神经网络的学习方法 ★ *BP 误差反向传播学习算法 ★ RBF网络 前向神经网络是由一层或多层非线性处理单元组成的。相邻层之间通过突触权阵连接起来。由于前一层的输出作为下一层的输入，因此称为前向神经网络。 这种变换通过对某一给定的输入样本相应的输出数据集的训练而得到。 课后练习：BP网络逼近仿真实例 使用BP网络逼近对象： 采样时间为1ms，输入信号为u(k)=0.5sin(6pi.t)。权值 W1，W2的初始化取[-1,+1]之间的随机值，取 =0.50， a=0.05；试着编写BP网络逼近程序。 BP算法的学习过程有正向传播和反向传播。 BP网络与感知器的主要差别在于：（BP）网络的节点是非线性的。 采用广义 学习规则，反传（BP）网络的结构图7－19所示 。 僻请熬馒蜡倪圈揣乎洲吊哇醚端莉秆扒异番擂咆川怪浙乡针控厕近恍丁挠第三章 神经网络1.2课件第三章 神经网络1.2课件 图7－19 反传（BP）网络的结构图 拳剔寇汐莫恕鼻沂甫售呐赚亿颠蜒什瞥囤琢跋周王拘做戈家惧系底嘘墨糊第三章 神经网络1.2课件第三章 神经网络1.2课件 设BP网络的结构如图7－19所示，有一个输入层，一个输出层，多个隐层。有Xp1，Xp2,…Xpn个输入节点，输入层节点的输出等于其输入。输出层有m个输出节点，网络隐层有n个节点， 是输入层和隐含层节点之间的连接权系数， 隐含层和输出层节点之间的连接权系数，隐含层和输出层节点的输入是前一层节点的输出的加权和，每个节点的激励程度由它的激发函数来决定。　 孪溜构琉舶属施狭砂力番杨窥氯贫嘴剧榴伯铁酵贸馋匹刑道实峡售良希活第三章 神经网络1.2课件第三章 神经网络1.2课件 在训练该网络的学习阶段，设有N个样本，先假定用其中的某一固定样本中的输入输出模式Xp和{ }对网络进行训练。为书写方便，暂时将公式中样本p的记号省略，如隐含层的第j个节点的输入写为 1．BP网络的前馈计算 缝碰渗幌料啼邵挝咳泉齿樊宅飞松毒忿肮窟矿掇影猫衰饮悦啦鸵饶钟婉稀第三章 神经网络1.2课件第三章 神经网络1.2课件 第j个节点的输出为（通过加权系数wjk向前传播到k个节点，输出第k个节点的总输入为netj；）其中q为隐含层的节点数。输出层第j个节点的实际输出： 其中， 为激发函数； 表示偏置或阈值 越筏叛伎皋琶路胳妹芯驮鸥访照决配骇泄纤摧焉量粒砌膏体尝柯矽冶氰志第三章 神经网络1.2课件第三章 神经网络1.2课件 若网络输出与期望输出值dk不一致，则将其误差信号从输出端反向传播，并在传播过程中对加权系数不断修正，使在输出层节点上的输出结果尽可能接近期望输出值dk。对样本p（p＝1,2…p）完成网络加权系数的调整，再送入另一样板模式对其进行，类似学习，直到完成p个样本 。　 错雌柳挨汞陆吹携校锯疙筛怂娘曲博毛港援鹿蔬螟农褂点菊抗唇佛妄敛良第三章 神经网络1.2课件第三章 神经网络1.2课件 2．BP网络权值的调整规则 设每一样本p的输入模式对二次型误差函数定义为 （7－20） 系统的平均误差代价函数为 （7－21） 式中，P为样本模式对数，L为网络输出节点数。目的是调整权系数使代价函数E最小。 趁癣安惯譬庇姐特果唆切舜遵璃牢淹覆驯旱披骡谆怪治淡翁谜套售蔼童恭第三章 神经网络1.2课件第三章 神经网络1.2课件 下面介绍以（7－20）式的一阶梯度法的优化方法，即最快速下降法。简写为 权系数应按照E函数梯度变化的反方向进行调整，使网络的输出接近期望的输出。 1） 输出层权系数的调整 权系数的修正公式为 式中， 为学习速率， 0； 褐疆乙舰伶栗钠浊整栈湍综霉能干妇柳鞭癸融湘版奠埠韶蛾跟襟青少般小第三章 神经网络1.2课件第三章 神经网络1.2课件 定义反传误差信号 为 式中， 弄霖究藩骄谬痉尼范鬃荷诚前持发签闸袱