神经网络方法环境工程.pptxVIP

神经网络方法环境工程第1页/共37页第2页/共37页BP神经网络 误差反向传播网络（Back－Propagation Network），简称BP神经网络，是目前人工神经网络最具有代表性的一种网络，应用最为广泛。BP神经网络通常由输入层、若干隐含层和输出层组成，最基本的BP神经网络通常由一个输入层、一个隐含层和一个输出层组成。X表示网络的输入、H表示隐含层、Y表示网络的输出，Wij表示输入层与隐含层之间的连接权值，Vjk表示隐含层到输出层的连接权值。m、l、n分别表示输入层、隐含层、输出层神经元的个数。Q1j和P1j分别表示隐含层、输出层神经元的阈值。第3页/共37页式中： f（x）—网络相应函数，取f（x）为Sigmoid函数，即 。BP网络整个学习过程的一般步骤如下 ：① 网络初始化。给各连接权值{Wij}、{Vjk}及阈值{Q1j}、{P1j}赋予（-1，+1）间的随机量。② 将第t（t=1）个学习样本输入到图的网络中。③ 计算隐含层第j神经元输入{sj}和输出{ bj }：，即：第4页/共37页⑥ 计算隐含层第j神经元的一般化误差{Ej}：④ 计算输出层第k神经元的输入{Lk}和输出层的输出{Ck}，即：⑤ 计算输出层各神经元的一般化误差{dk}：式中：Yk—第k神经元的期望输出。第5页/共37页⑦ 调整连接权值和阈值：式中：η—学习速率，0η1。⑧ 选取下一个训练样本对（t=2），重复步骤③～⑦，直至所有样本对（t =1，2，…m）训练完毕，即完成了训练样本集的一轮训练。第6页/共37页⑨ 计算全局误差SSE：式中：M—学习样本的对数；Ykt—第t对学习样本的期望输出；Ckt—第t对学习样本的计算输出 ⑩ 如果SSE小于预先设定的一个误差值，则网络停止学习；否则将重复步骤③～⑦，进行样本学习样本集的下一轮训练。第7页/共37页标准BP算法：标准BP算法是基于梯度下降法，通过计算目标函数对网络权值和阈值的梯度进行修正。学习过程是通过调整权重和阈值使期望值和神经网络输出值的均方误差趋于最小实现的，只用到均方误差函数对权值和阈值的一阶导数信息。标准梯度下降法权值和阈值的迭代过程可表示为 ：目标函数(均方误差函数) 由网络所有权值和阈值所形成的向量。 学习速率 目标函数的梯度(一阶导数) 迭代次数 第8页/共37页BP神经网络的缺点：BP神经网络是目前应用最多的一种神经网络形式，但不是非常完美， 表现出结构确定的人为性、训练速度慢以及初始权值对结果影响的随机性等缺陷；存在学习过程易陷入局部极小、易出现震荡和网络存在冗余连接或节点等缺陷；另外，隐含层单元数及隐含层结点数的确定至今没有统一的方法。第9页/共37页BP神经网络的改进：对于上述存在的缺点，许多学者对BP网络进行了改进，大多采用基于标准梯度下降的改进方法，如附加动量法、弹性BP算法、自适应调整参数法等或基于标准数值优化的改进方法，如拟牛顿法、共扼梯度法和LM法等，并没有将两种改进方法结合起来。 第10页/共37页（1）基于标准数值优化的改进BP神经网络的训练实质上是非线性目标函数的优化问题，标准BP神经网络利用了目标函数的一阶导数信息。本次改进采用“LM”法，它是基于标准数值优化的改进方法，在利用目标函数的一阶导数信息的基础上，还利用了目标函数的二阶导数信息。改进后的权值和阈值的迭代过程表示为：DH—是对角矩阵，其对角元素为H的对角元素；第11页/共37页μ—阻尼因子（若E(X(k+1))≥E(X(k)), μ(k+1)=10μ(k)；否则μ(k+1)=0.1μ(k)）。 该改进方法根据迭代的结果动态地调整阻尼因子，使每次的迭代误差函数值都有所下降，收敛速度快。（2）基于梯度下降的改进标准BP算法的步长λ是定值，这就导致了λ难以确定，若λ过小，在误差曲面较平坦的区域，收敛较慢；当步长λ较大时，又会在峡谷区域引起震荡。针对上述缺陷，本次采用步长自适应改进方法确定λ，即： 式中：β—某一小正数，β∈[0.01，0.03]； p—训练次数 Ep—第p次的训练误差。第12页/共37页 该方法的优点是当误差减小时步长相应增大，当误差增大时步长相应减小，克服了标准BP算法步长难以确定的缺陷。采用这两种方法改进的BP神经网络能克服标准BP神经网络训练速度慢、初始权值对结果影响的随机性、在学习过程易陷入局部极小、易出现震荡等缺陷。第13页/共37页基于人工神经网络的综合评价方法步骤 （1）确定评价指标集，指标个数为BP网络中输入节点的个数； （2）确定BP网络的层数，一般采用具有一个输入层，一个隐含层和一个输出层的三层网络模型结构； （3）明确评价结果输出层的节点数为1; （4）对指标值进行标准化处理； （5）用随机数（一般为0-1之间的数）初始化网络节点的权值与网络阈值； （6）将标