神经元感知器和BP网络.pptVIP

（3）第 q 层的反向递推计算 根据（Ⅰ）,（Ⅱ）两式可获得反向递推算式： 这里的 q 层是指由Q-1向前递推的任意网络层次（其中：q = Q-2 ，Q-3 ，… ,1) 首先计算 ← ← ← ← 当前第30页\共有54页\编于星期四\20点 在每一层的反向递推计算 需要说明的是： 中都出现导数项 。 该项的计算，与所取的激活函数直接相关。比如： 取变换函数 为S型函数，那么其导数项可计算如下： 由于： 所以： 当前第31页\共有54页\编于星期四\20点 最后可归纳出BP网络的学习算法如下： 第q层： 输出层： 当前第32页\共有54页\编于星期四\20点 五.BP网络的特点和优点、局限性及其改进 特点： （1）是一种多层网络，包括输入层、隐含层和输出层； （2）层与层之间采用全互连方式，同一层神经元之间不连接； （3）权值通过δ学习算法进行调节； （4）神经元激发函数为S函数； （5）学习算法由正向传播和反向传播组成； （6）层与层的连接是单向的，信息的传播是双向的。 当前第33页\共有54页\编于星期四\20点 优点： （1）隐层的作用是使问题的可调参数增加，使解更加准确。只要有足够多的隐层和隐层节点，BP网络可以逼近任意的非线性映射关系。 （2）由所取的作用函数知，BP网络的学习算法属于全局逼近算法，具有较强的泛化能力。 泛化能力—用较少的样本进行训练，使网络能对未经训练的输入也能给出合适的输出。从函数拟合的观点，这表明BP网络具有插值计算的能力。 没有泛化能力的神经网络无任何使用价值。 当前第34页\共有54页\编于星期四\20点 （3）BP网络输入、输出之间的关联信息分布地存储在网络的连接权中，个别神经元的损坏只对输入输出关系有较小的影响，因而BP网络具有较好的容错性。 当前第35页\共有54页\编于星期四\20点 局限性： ⑴目标函数存在多个极值点，按梯度下降法进行学习，很容易陷入局部极小值； ⑵学习算法的收敛速度慢，且收敛速度与初始权的选择有关，难以适应实时控制的要求； ⑶难以确定隐层及其节点的数目。目前，确定具体的网络结构尚无好方法，仍根据经验试凑。 ⑷训练时学习新样本有遗忘旧样本的趋势。 针对上述问题，提出3种较常用的改进算法。 当前第36页\共有54页\编于星期四\20点 1、引入动量项 增加动量项从前一次权值调整量中取出一部分叠加到本次权值调整量中。动量项反映以前积累的调整经验，对t时刻调整起阻尼作用。减小学习过程的振荡趋势，是目前应用较广泛的一种改进算法。 其中， ，为k时刻的负梯度。 为学习率， 0 。 为动量项因子， 。 根据经验数据动量项因子取0.95比较适合。 引入前： 引入后： 当前第37页\共有54页\编于星期四\20点 2、自适应调节学习率 设一初始学习率，若经过一批次权值调整后使总误差↑，则本次调整无效，且降低 ； 若经过一批次权值调整后使总误差↓，则本次调整有效，且增大 。 标准BP算法问题：学习率 为一常数，很难确定一个从始到终都合适的最佳学习率。如误差曲面平坦区 太小会使训练次数增加；而误差变化剧烈的区域 太大会使训练出现振荡。解决方法如下： 当前第38页\共有54页\编于星期四\20点 课程名：智能控制技术 课程名：智能控制技术 （2）自适应性和自组织性。神经元之间的连接具有多样性，各神经元之间的连接强度具有可塑性，网络可以通过学习与训练进行自组织，以适应不同信息处理的要求。 （3） 并行处理性。网络各单元可同时进行类似的处理，整个网络的信息处理方式是大规模并行的，可以大大加快对信息处理的速度。 （4）分布存储和容错性。信息在神经网络内的存储按内容分布于许多神经元中，而且每个神经元存储多种信息的部分内容。网络的每部分对信息的存储具有等势作用，部分的信息丢失仍可以使完整的信息得到恢复，因而使网络具有容错性和联想记忆功能。 （5）便于集成实现和计算模拟。神经网络在结构上是相同神经元的大规模组合，特别适合于用大规模集成电路实现。 当前第1页\共有54页\编于星期四\20点 §3-1 神经网络的基本概念 一. 生物神经元模型 神经元模型 脑神经元由细胞体、树突和轴突构成。细胞体是神经元的中心，它一般又由细胞核、细胞膜等组成。树突是神经元的主要接受器，它主要用来接受信息。轴突的作用主要是传导信息，它将信息从轴突起点传到轴突末梢。 1、组成