bp神经网络概述`.docx

BP神经网络概述材科1303 徐心怡 0121301090747 摘要： BP 神经网络是误差反传误差反向传播算法的学习过程，由信息的正向传播和误差的反向传播两个过程组成。它是目前应用较多的一种神经网络结构。它能以任意精度逼近任意非线性函数，而且具有良好的逼近性能，并且结构简单，是一种性能优良的神经网络。理论研究的深入也促进多种对其的改进方法。关键字：BP网络模型 算法 缺点 改进正文： BP神经网络是1986年提出的一种按误差逆传播算法训练的多层前馈网络，是目前应用最广泛的神经网络模型之一。BP网络能学习和存贮大量的输入-输出模式映射关系，而无需事前揭示描述这种映射关系的数学方程。它的学习规则是使用最速下降法，通过反向传播来不断调整网络的权值和阈值，使网络的误差平方和最小。 1 BP神经网络模型BP网络模型包括其输入输出模型、作用函数模型、误差计算模型和自学习模型。 1.1节点输出模型 隐节点输出模型：Oj=f(∑Wij×Xi-q j) 输出节点输出模型：Yk=f(∑Tjk×Oj-q k) 其中：f-非线形作用函数；q -神经单元阈值。 1.2 作用函数模型 作用函数是反映下层输入对上层节点刺激脉冲强度的函数又称刺激函数，一般取为(0,1)内连续取值Sigmoid函数： f(x)=1/(1+e-x) 1.3 误差计算模型 误差计算模型是反映神经网络期望输出与计算输出之间误差大小的函数： Ep=1/2×∑(tpi-Opi)2 其中：tpi- i节点的期望输出值；Opi-i节点计算输出值。 1.4 自学习模型 神经网络的学习过程，即连接下层节点和上层节点之间的权重拒阵Wij的设定和误差修正过程。BP网络有师学习方式-需要设定期望值和无师学习方式-只需输入模式之分。自学习模型为： △Wij(n+1)= h ×Фi×Oj+a×△Wij(n) 其中：h -学习因子；Фi-输出节点i计算误差；Oj-输出节点j的计算输出；a-动量因子 2 BP算法BP算法由数据流的前向计算（正向传播）和误差信号的反向传播两个过程构成。正向传播时，传播方向为输入层→隐层→输出层，每层神经元的状态只影响下一层神经元。输入层各神经元负责接收来自外界的输入信息，并传递给中间层各神经元；中间层是内部信息处理层，负责信息变换，根据信息变化能力的需求，中间层可以设计为单隐层或者多隐层结构；最后一个隐层传递到输出层各神经元的信息，经进一步处理后，完成一次学习的正向传播处理过程，由输出层向外界输出信息处理结果。若在输出层得不到期望的输出，则转向误差信号的反向传播流程。周而复始的信息正向传播和误差反向传播过程，是各层权值不断调整的过程，也是神经网络学习训练的过程。在权向量空间执行误差函数梯度下降策略，动态迭代搜索一组权向量，使网络误差函数达到最小值，从而完成信息提取和记忆过程。 2.1 正向传播过程 隐含层第i个节点的输入neti： 隐含层第i个节点的输出yi： 输出层第k个节点的输入netk：输出层第k个节点的输出ok：? 2.2 误差信号的反向传播过程 对于每一个样本p的二次型误差准则函数为Ep： 系统对P个训练样本的总误差准则函数为：根据误差梯度下降法依次修正输出层权值的修正量Δwki，输出层阈值的修正量Δak，隐含层权值的修正量Δwij，隐含层阈值的修正量。输出层权值调整公式：输出层阈值调整公式：隐含层权值调整公式： 隐含层阈值调整公式：又因为：所以最后得到以下公式： 3 BP算法的缺点与改进 3.1 BP算法的缺点BP算法理论具有依据可靠、推导过程严谨、精度较高、通用性较好等优点，但由于它采用非线性规划中的最速下降方法，按误差函数的负梯度方向修改权值，因而通常存在以下问题：在权值调整上采用梯度下降法作为优化算法，极易陷入局部极小；学习算法的收敛速度很慢，收敛速度还与初始权值和传输函数的选择有关；网络的结构设计，即隐节点数的选择，尚无理论指导，具有很大的盲目性；新加入的样本对已经学好的样本影响较大，且每个输入样本的特征数目要求相同，泛化能力较差。 3.2 BP算法的改进BP算法理论具有依据可靠、推导过程严谨、精度较高、通用性较好等优点，但标准BP算法存在以下缺点：收敛速度缓慢；容易陷入局部极小值；难以确定隐层数和隐层节点个数。在实际应用中，BP算法很难胜任，因此出现了很多改进算法。 3.2.1 利用动量法改进BP算法?标准BP算法实质上是一种简单的最速下降静态寻优方法，在修