神经元感知器和BP网络解读.ppt

第三章 神经网络控制 　　神经网络是在生物功能启示下建立起来的一种数据处理技术。它是由大量简单神经元互连而构成的一种计算结构，在某种程度上模拟生物神经系统的工作过程，从而具备解决实际问题的能力。 　特点: （1）非线性映射逼近能力。任意的连续非线性函数映射关系可由多层神经网络以任意精度加以逼近。 （2）自适应性和自组织性。神经元之间的连接具有多样性，各神经元之间的连接强度具有可塑性，网络可以通过学习与训练进行自组织，以适应不同信息处理的要求。 （3） 并行处理性。网络各单元可同时进行类似的处理，整个网络的信息处理方式是大规模并行的，可以大大加快对信息处理的速度。 （4）分布存储和容错性。信息在神经网络内的存储按内容分布于许多神经元中，而且每个神经元存储多种信息的部分内容。网络的每部分对信息的存储具有等势作用，部分的信息丢失仍可以使完整的信息得到恢复，因而使网络具有容错性和联想记忆功能。 （5）便于集成实现和计算模拟。神经网络在结构上是相同神经元的大规模组合，特别适合于用大规模集成电路实现。 二. 人工神经元模型 4、误差函数的改进 （3）第 q 层的反向递推计算 根据（Ⅰ）,（Ⅱ）两式可获得反向递推算式： 这里的 q 层是指由Q-1向前递推的任意网络层次（其中：q = Q-2 ，Q-3 ，… ,1) 首先计算 ← ← ← ← 在每一层的反向递推计算 需要说明的是： 中都出现导数项 。 该项的计算，与所取的激活函数直接相关。比如： 取变换函数 为S型函数，那么其导数项可计算如下： 由于： 所以： 最后可归纳出BP网络的学习算法如下： 第q层： 输出层： 五.BP网络的特点和优点、局限性及其改进 特点： （1）是一种多层网络，包括输入层、隐含层和输出层； （2）层与层之间采用全互连方式，同一层神经元之间不连接； （3）权值通过δ学习算法进行调节； （4）神经元激发函数为S函数； （5）学习算法由正向传播和反向传播组成； （6）层与层的连接是单向的，信息的传播是双向的。 优点： （1）隐层的作用是使问题的可调参数增加，使解更加准确。只要有足够多的隐层和隐层节点，BP网络可以逼近任意的非线性映射关系。 （2）由所取的作用函数知，BP网络的学习算法属于全局逼近算法，具有较强的泛化能力。 泛化能力—用较少的样本进行训练，使网络能对未经训练的输入也能给出合适的输出。从函数拟合的观点，这表明BP网络具有插值计算的能力。 没有泛化能力的神经网络无任何使用价值。 （3）BP网络输入、输出之间的关联信息分布地存储在网络的连接权中，个别神经元的损坏只对输入输出关系有较小的影响，因而BP网络具有较好的容错性。 局限性： ⑴目标函数存在多个极值点，按梯度下降法进行学习，很容易陷入局部极小值； ⑵学习算法的收敛速度慢，且收敛速度与初始权的选择有关，难以适应实时控制的要求； ⑶难以确定隐层及其节点的数目。目前，确定具体的网络结构尚无好方法，仍根据经验试凑。 ⑷训练时学习新样本有遗忘旧样本的趋势。 针对上述问题，提出3种较常用的改进算法。 1、引入动量项 增加动量项从前一次权值调整量中取出一部分叠加到本次权值调整量中。动量项反映以前积累的调整经验，对t时刻调整起阻尼作用。减小学习过程的振荡趋势，是目前应用较广泛的一种改进算法。 其中， ，为k时刻的负梯度。 为学习率， 0 。 为动量项因子， 。 根据经验数据动量项因子取0.95比较适合。 引入前： 引入后： 2、自适应调节学习率 设一初始学习率，若经过一批次权值调整后使总误差↑，则本次调整无效，且降低 ； 若经过一批次权值调整后使总误差↓，则本次调整有效，且增大 。 标准BP算法问题：学习率 为一常数，很难确定一个从始到终都合适的最佳学习率。如误差曲面平坦区 太小会使训练次数增加；而误差变化剧烈的区域 太大会使训练出现振荡。解决方法如下： 3、引入陡度因子 标准BP算法问题： 误差曲面存在平坦区，其原因是神经元输出进入了转移函数的饱和区。 解决思路： 压缩神经元净输入，使其输出退出饱和区。 实现这一思路的具体作法是，在原转移函数中引入一个陡度因子λ 当发现ΔE接近零而目标与实际输出仍较大时，可判断已进入平坦区，此时令λ1；退出平坦区后，再令λ=1。 λ1：转移函数曲线敏感区变长； λ=1：转移函数恢复原状。 (1)