新版BP学习算法.ppt

3.2.2 BP学习算法步骤 BP网络的标准学习算法 学习的过程： 神经网络在外界输入样本的刺激下不断改变网络的连接权值,以使网络的输出不断地接近期望的输出。 学习的本质： 对各连接权值的动态调整 学习规则： 权值调整规则，即在学习过程中网络中各神经元的连接权变化所依据的一定的调整规则。 BP网络的标准学习算法-算法思想 学习的类型：有导师学习 核心思想： 将输出误差以某种形式通过隐层向输入层逐层反传 学习的过程： 信号的正向传播 误差的反向传播 BP网络的标准学习算法-学习过程 正向传播： 输入样本－－－输入层－－－各隐层－－－输出层 判断是否转入反向传播阶段： 若输出层的实际输出与期望的输出（导师信号）不符 误差反传 误差以某种形式在各层表示－－－－修正各层单元的权值 网络输出的误差减少到可接受的程度 进行到预先设定的学习次数为止 BP学习的具体算法步骤 第六步，判断n+1是否大于最大迭代次数，若不大于，则对输入样本，反向计算每层神经元的局部梯度；若大于，则转至第八步，其中 第七步，按下式计算权值修正量 ，并修正权值；n=n+1，转至第四步。 BP学习注意的问题 1、BP权值的初始化。 BP学习时，权值的初始值应选为均匀分布的小数经验值，大概为(-2.4/F,2.4/F)之间。并将初始权值设为随机数。2、神经元激励函数。 2、神经元激励函数 期望输出只能趋于渐近值，而不能等于渐近值,且应设期望输出为相应的小数。比如当激励函数sigmoid的渐近值为1和0时，则应设相应的期望输出为0.99和0.01等小数，而不应设为1和0。 三、BP算法训练网络的方式：顺序方式和批处理方式。 顺序方式：临时存储空间小，训练速度快 批处理方式：精确的计算梯度向量，误差收敛条件简单，易与并行处理。 4、学习步长 的选择 过大或过小都不好， 关系着权值的变化和BP的收敛速度，过大会引起振荡 。通常调整 值使网络中和各神经元的学习速度相差不多。还可以通过加入“动量项”的方法。 5、局部梯度的计算，需要激励函数的导数。 通常选可导的奇函数作为激励函数，常用的非线性sigmoid函数，有两种形式：逻辑函数和双曲正切函数 6、误差E（n）的判断 顺序方式： 批处理方式：每个训练周期的平均误差Eav其变化量在0.1%- 1%之间。 7、训练样本的输入 在第一步设置时，一般是同一类的训练样本其期望输出相同。 8、输入信号归一化 使所有样本的输入信号其均值接近零或与其标准方差相比比较小。归一化输入信号应注意： （1）用主向量分析法使训练样本的输入信号互不相关。 （2）归一化互不相关的输入信号，使得他们的方差基本相同，从而是不同权值的学习速度基本相同。 9、在学习过程或中可以利用out（.）的先验知识，加快学习效率。 BP神经网络的特点 非线性映射能力 能学习和存贮大量输入-输出模式映射关系，而无需事先了解描述这种映射关系的数学方程。只要能提供足够多的样本模式对供网络进行学习训练，它便能完成由n维输入空间到m维输出空间的非线性映射。 泛化能力 当向网络输入训练时未曾见过的非样本数据时，网络也能完成由输入空间向输出空间的正确映射。这种能力称为泛化能力。 容错能力 输入样本中带有较大的误差甚至个别错误对网络的输入输出规律影响很小。 BP算法直解释 情况二直观表达 当误差对权值的偏导数 小于零时，权值调整量 为正，实际输出少于期 望输出，权值向增大方向 调整，使得实际输出与期 望输出的差减少。 BP算法直解释 情况二直观表达 当误差对权值的偏导数 小于零时，权值调整量 为正，实际输出少于期 望输出，权值向增大方向 调整，使得实际输出与期 望输出的差减少。 谢谢大家！ * * * * 将误差分摊给各层的所有单元－－－各层单元的误差信号 修正各单元权值 第一步：设置变量和参量 ,为输入向量，或训练样本，N为训练样本的个数。 为第n次迭代输入层与隐含层I之间的的权值向量。 ,为第n次迭代隐含层I与隐含层J之间的的权值向量。 ,为第n次迭代隐含层J与输出层之间的的权值向量。 ，为第n次迭代是网络的实际输出。 ，为期望输出。 为学习效率。 n为迭代次数。 1 x 2 x m x y1 y2 yp Wmi Wij Wjp i=(1,2,….J) j=(1,2,…J) BP学习的