上海交通大学人工神经网课程第三讲.pptVIP

3.3.2 利用Delta规则预先训练初始连接权（DPT） 　如何通过设置初始连接权，尽可能使得BP网络接近或收敛于全局最小？ DPT方法实际上是使初始连接权设置的最优化方法，其基本思想： 将BP网络分解为若干单一感知器，对每个单一感知器从零连接权开始，利用Delta学习规则开始训练，过程是从输入层→隐含层→ 输出层　 §3.3 初始连接权的设置及其影响 1、错误率达不到预期，无限制地训练 怎么办？ 2、发生震荡怎么办？ 3、影响BP神经网络训练时间的因素有 哪些？ 4、训练数据对于BP神经网络的训练结 果的影响？ 5、其他一些问题？ §3.4 Questions 利用下列BP网络学习网络解决“异或”问题 有二个输入，二个隐含单元和一个输出单元。 激励函数为 ，每层的学习速率都为0.6，下表给出了迭 代一次后的结果 编写BP网络进行“异或”的学习训练算法，使得最终迭代误差小于0.008，并统计 迭代步数。 §3.5 Homework 输 入 期望输出 实际输出 误 差 00 0 0.5 0.5 01 1 0.5 10 1 0.5 11 0 0.5 0.0801 -0.0605 0.0999 -0.0291 0.0579 0.0543 -0.0703 -0.0939 -0.0109 人工神经网络及其应用 第三讲 前馈网络 主讲人：方涛 第三 讲前馈网络 主讲内容 ◆ §3.1 BP网络模型及原理 ◆ §3.2 前馈网络的隐含层设计 ◆ §3.3 初始连接权的设置及影响 ◆ §3.4 Questions ◆ §3.5 Homework §3.1 BP网络模型及原理 3.1.1 神经网络信息处理的数学过程 3.1.2 BP网络算法概述 3.1.3 BP网络算法的原理 3.1.4 BP网络算法中常用的激励函数 3.1.5 BP网络算法的若干改进 3.1.1 神经网络信息处理的数学过程 3.1.1.1 执行过程(阶段) 神经网络对输入信息进行处理，并产生对应的输出，在这个阶段网络的连接结构和权系数已不再变化。 3.1.1.2 学习过程(阶段) 实际上是神经网络的自我完善阶段，即网络按照一定的学习规则修正连接权，使得给定的测度函数E（最小方差等）达到最小。 测度函数 学习训练公式的一般形式 §3.1 BP网络模型及原理 比如剃度学习算法 神经网络对信息处理过程一般都要经过执行阶段和学习阶段的反复迭代过程。 学习过程是为了取得对信息的适应特性，执行过程是对信息的检索或者分类，这是神经网络中两个不可分割的阶段。 通过学习阶段，将神经网络训练成对某类信息模式特别敏感，或者具有某种特征的动力学系统。 通过执行阶段，使得网络能够识别有关的信息模式或者特征。 §3.1 BP网络模型及原理 3.1.2 BP网络算法概述 3.1.2.1 BP算法概述 最初由Werbos开发的反向传播训练算法，是一种迭代梯度算法，用于求解前馈网络的实际输出与期望输出间的最小均方差值。 BP网是一种反向传递并能修正误差的多层映射网络。 当参数适当时，此网络能够收敛到较小的均方差。 BP网的短处是训练时间较长，且易陷于局部极小。 3.1.2.2 BP神经网络的几个基本概念 ①学习速率参数 ②振荡 §3.1 BP网络模型及原理 3.1.3 BP网络算法的原理 BP网络算法是为解决多层前馈网络连接权优化才提出的，是一种无反馈的多层前馈网络。 以Rumelhart和McClelland为首的并行分布处理（PDP）的研究小组1986年提出，BP算法是应用最广泛的学习算法之一。 感知器的学习算法是一种单层网络的学习算法，不能用于多层网络的学习算法。 BP算法解决了多层网络的学习问题，并不象Minsky等人预料的那样弱的学习能力，相反它可以完成许多学习任务，解决许多实际问题，也因此推动了前馈式神经网络的研究。 BP算法目前已成为迄今为止应用最普遍的神经网络学习算法。 §3.1 BP网络模型及原理 3.1.3.1 BP算法原理 对隐含层虽然与I/O层外界单元不发生直接联系，但隐含层连接权的修正可以改变整个多层网络的性能。 §3.1 BP网络模型及原理 对第k+1层，第i个神经元I/O的关系： 实线：工作信号，是输入信号逐层向前传送产生输出； 虚线：误差信号，是网络实际输出与期望输出之差