bp算法及bp改进算法.docVIP

智能算法应用平台 设计说明书 目 录 1神经网络BP算法 3 2 神经网络BP改进算法 4  1神经网络BP算法 神经元网络专家系统由开发环境和运行环境两部分组成(见图12-1)。开发环境由3部分组成：①确定系统框架；②学习样本；③神经元学习，通过样本学习得到知识库。运行环境实质上是一个专家系统，它由5部分组成：①实际问题参数；②输入模式的转换；③推理机；④知识库；⑤输出模式的转换。 输入输出模式转换是指神经元的输入与输出要求以(-∞,+∞)区间的数值形式表示。推理机是基于神经元的信息处理过程，包括神经元的输入和输出。知识库是由BP网络通过对样本的学习而得到的各神经元之间的连接权值，其学习过程如图12-2所示。 确定系统框架包括完成对神经元网络的拓扑结构设计、神经元作用函数和阈值选择。本文的神经元作用函数采用Sigmoid函数，阈值取为0.5。 图12-1 神经元网络专家系统结构图 图12-2 BP网络学习框图 最好的分类图为PLS，在此空间研究优化信息。使用PLS-BPN用训练样本建模，输入元为PLS计算出来的训练样本的得分, 输出元为熔剂量, 用留N法交叉检验，确定网络结构为输入元5个、隐节点15个和输出节点1个。 2 神经网络BP改进算法 本文所建模型采用含输入层、隐含层和输出层的三层网络。其结构如图13-1所示。 图13-1.神经网络拓扑结构 设有n个样本、m个变量、t个目标量、r个隐含层单元数，、、、 、 (i=1, 2, …, n；j=1, 2,…, m； l=1, 2,…, r； k=1, 2,…, t)为样本的输入变量、输入层输出值、隐含层的输出值、输出层输出值及目标量（或称期望值），（pq=jl或lk）、（e=j, l,或k）为网络连接权值。对样本采用进行批处理的方法进行网络训练，训练算法如下： 1）给权值随机赋一较小值；阈值=0，=，=； 2）在已知n个学习样本中，顺序取样本进行预处理后用于训练网络； 3）激励函数取Sigmod函数，分别计算输入层输出值、隐含层和输出层的输出、、； 4）定义（mn=lk或者jl,）分别为隐层误差和输出层误差，对已知样本的教师可得： （13-1） （13-2） 并记下各层输出及误差的值。 5）记下学习过的样本个数t，如果tn，则返回2）继续计算，否则又从第一个输入样本开始按式（13-3）、（13-4）修改各层的权值和阈值（设已迭代计算了次）： （13-3） （13-4） 其中：，1；η为学习速率；α为动量（惯性）因子，其取值范围为0到1，它有利于使误差朝原来下降的方向继续下降，取适当的值有利于加速收敛和防止振荡； 6）按新的权值计算隐含层和输出层各单元的输出，并按如下公式计算总误差（以下称控制误差）： （13-5） 若其小于一个预先给定的小数，则学习停止，否则返回2），重新学习。 可采用如下改进措施： 学习过程中容易出现“平台”现象（第二局部极小），即式（13-5）中不趋近零，但趋近于零，所以（mn=lk或者jl,）仍趋近于零，使得权值的变化几乎停滞。这时可以用代替，其中c为一个较小的正数。 2）为了加速收敛和防止学习过程发生震荡， BP网络在修改权值时常加上一个动量项。对学习速率η和动量因子α进行自适应调节，从而改进学习过程。η较大，可以加快学习收敛速度，但可能导致震荡。α能有效抑制震荡，加速收敛速度。但误差没有朝减小方向进行时，动量项会减慢收敛速度。综合η、α对学习过程的影响，令总误差的变化 ΔE总= E总()- E总(-1)，（1） (13-6) Δη= η(+1)-η() (13-7) 式中，为迭代次数，采用如下自适应调节方案： 当ΔE总0，则Δη=e×η，e取一个0～1之间较小的数；动量因子取一个0～1之间较大的数。当η(+1)大于一个给定的η1时，则η(+1)=η1； 当ΔE总0，则Δη=-e×η，e取一个0～1之间较小的数；动量因子取零。当η(+1)小于一个给定的η2时，则η(+1)=η2； 3）网络真正的价值体现在网络强大的外推能力。导致网络推广能力差的原因有两种，一种是因为网络没有记忆过与当前样本类似的模式，导致外推能力差，其解决办法只有多增加典型训练样本；另一种是因为网络学习过程中出现了过拟合现象。隐含层单元数过多和网络学习中控制迭代的最小误差过小都会导致过拟合现象。经验表明，当隐含层单元数为输入的变量4~5倍时为佳，控制误差不能太小，这样就有可能避免出现过拟合现象。 智能算法应用平台 5 智能算法应用平台 实际问题 参数 学习样本 确定 系统 框架 知识库 (分布式) 神经元 学习 推理机制 实际问题 转换 形成学习样本 用户 知识工程师 输入模式 转换 输出模