bp神经网络的不足及改进后的应用.pptVIP

词语：随机 拼音：suí jī 解释：依照情势；顺应时机。《陈书·徐世谱传》：“世谱性机巧，諳解旧法，所造器械，竝随机损益，妙思出人。”宋陈亮《酌古论·崔浩》：“而不知事固有随机立权者，乌可以琐琐顾虑哉！”鲁迅《集外集拾遗补编·“骗月亮”》：“他们只想到将来会碰到月亮，放鞭炮去声援，却没有想到也会碰到天狗。并且不知道即使现在并不声援，将来万一碰到月亮时，也可以随机说出一番道理来敷衍过去的。” 词语：为了 拼音：wèi le 解释：表目的。《儿女英雄传》第十一回：“此番带了这项金银，就为了父亲的官事。”周立波《暴风骤雨》第一部一：“为了要显显他的本领，在平道上，他把牲口赶得飞也似地跑。”表原因。鲁迅《花边文学·趋时和复古》：“清末，治朴学的不止太炎先生一个人，而他的声名，远在孙诒让之上者，其实是为了他提倡种族革命，趋时，而且还‘造反’。”洪深《五奎桥》第一幕：“里面的四百多亩田，为了天旱水低，人力车水赶不及而干得要死的，真都得活活的枯死。” 第一页，共23页。 主要(zhǔyào)内容 BP神经网络简介 BP学习算法(suàn fǎ)的不足 两种BP学习算法(suàn fǎ)的改进方法 基于改进BP神经网络的应用 第二页，共23页。 1 BP神经网络简介(jiǎn jiè) 神经网络在实际应用中分为训练阶段和使用阶段 训练阶段，是使用适当的学习算法调整某种结构的网络的参数，使得被训练的网络能够对样本有很好的拟合(nǐ hé)作用。 BP神经网络也包括了训练和使用这两个阶段。它是前馈型神经网络，采用的是BP学习算法（后向传播学习算法）。 第三页，共23页。 1 BP神经网络简介(jiǎn jiè) BP神经网络（Back Propagation Feed-forward Neural Network），即后向传播学习的前馈型神经网络 前馈型网络结构：在处理样本的时候，前一层的输出(shūchū)即为下一层的输入 反向传播：通过比较输出(shūchū)层的实际输出(shūchū)和预期的结果得到误差，然后通过相关的误差方程式调整最后一个隐含层到输出(shūchū)层之间的网络权重，之后是隐含层之间权重的调整，直到输入层与第一隐含层之间的网络权重调整为止 第四页，共23页。 1 BP神经网络简介(jiǎn jiè) BP神经网络的训练过程 （误差后向传播(chuánbō)学习算法） 第五页，共23页。 2 BP学习(xuéxí)算法的不足 理论上BP网络能够逼近任意非线性函数，但由于神经网络训练学习中许多参数的选择没有(méi yǒu)理论依据，使得实际中神经网络的应用具有局限性 第六页，共23页。 2 BP学习(xuéxí)算法的不足 BP算法存在局限性与缺点的主要原因是其本身存在很多不足之处，主要有： 学习过程收敛速度慢 所得到的网络容错(rónɡ cuò)能力差 误差和函数可能有局部极小值 学习率不稳定 （BP算法学习速度慢、容错(rónɡ cuò)能力差、算法不完备） 第七页，共23页。 2 BP学习(xuéxí)算法的不足 学习过程收敛速度慢 BP算法是采用对样本集进行逐一学习的方法。设样本集K={r1=(x1,y1), r2=(x2,y2)…… rm=(xm,ym) }，BP算法是先对r1 进行学习，利用误差反向传播对网络的权值和阈值进行调整，知道调整后的网络对应关系（f(x)=y）满足：f(x1)=y1 为止。利用新得的权值和阈值以及(yǐjí)下一个样本继续调整网络的权值和阈值。但由于所得新的权值和阈值并不能保证前一个f(xi)=yi 成立。为了克服着个缺点，BP算法采用不断反复循环学习，希望求得正确的解。由于反复循环学习过程需要较长时间，这样就导致了算法学习收敛速度慢。 第八页，共23页。 2 BP学习算法(suàn fǎ)的不足 误差和函数可能有局部(júbù)极小值 BP算法本质上是以误差平方和为目标函数，用梯度法求其最小值的算法。因此只有误差平法和函数是正定的函数时，才能找到最小值，其他情况必然产生局部(júbù)极小值 第九页，共23页。 3 两种BP学习(xuéxí)算法的改进方法 针对BP学习算法的不足，研究者提出了多种改进的算法，其中典型的方法有： 引入动量项：在权值调节公式中加入一个动量项。加入的动量项相当与阻尼项，它减小了学习过程中的震荡趋势(qūshì)，改善了收敛性能 p为输入元素,k为训练次数，mc为动量因子 第十页，共23页。 3 两种BP学习算法的改进(gǎijìn)方法 变步长法：在BP学习算法中，学习率参数不易选择，选择太小，收敛太慢；选择太大，容易引起震荡甚至发散。为解决这个问题，可采用变步长方法，也可以称为自适应学习速率。当一个较大的学习速率容能够使网络稳定学习，使误差持续下