BP算法改进应用.doc

BP算法及其改进应用 0 引言 神经网络（Neural Networks，简称NN）是由大量的、简单的处理单元（简称为神经元）广泛的相互连接而成的复杂网络系统，它反映了人脑功能的许多基本特性，是一个高度复杂的非线性动力学系统。神经网络具有大规模并行、分布式存储和处理、自组织、自适应和自学习能力，特别适合处理需要同时考虑许多因素和条件的、不精确和模糊的信息处理问题。神经网络的发展与神经科学、数理科学、认知科学、计算机科学、人工智能、信息科学、控制论、机器人学、微电子学、心理学、光计算、分子生物学等有关，是一门新兴的边缘交叉学科。1986年Rumelhart和McCelland等人提出并行分布处理（PDP）的理论，同时提出了多层网络的误差反向传播学习算法，简称BP算法。这种算法根据学习的误差大小，把学习的结果反馈到中间层次的隐单元，改变它的权系数矩阵，从而达到预期的学习目的，解决了多层网络的学习问题。BP算法从实践上证明神经网络的运算能力很强，可以完成许多学习任务，解决许多具体问题。BP网络是迄今为止最常用、最普通的网络。 1 基于BP算法的多层前馈模型 1.1数学模型 其网络结构如图1所示 图1 BP网络结构 模型的数学表达如下： 输入向量： 隐层输出向量： 输出层输出向量： 期望输出向量： 输入层到隐层之间的权值矩阵： 隐层到输出层之间的权值矩阵： 1.2各层计算 对于输出层： （1-1） （1-2） 对于隐层： （1-3） （1-4） 其中，为单极性Sigmoid函数或双极性Sigmoid函数 BP学习算法 2.1 网络误差与权值调整 输出误差E定义： （1-5） 将以上误差定义式展开至隐层： （1-6） 进一步展开至输入层： （1-7） （1-8） （1-9） 式中负号表示梯度下降，常数η∈(0,1)表示比例系数。在全部推导过程中，对输出层有 对隐层有 2.2 算法推导 对于输出层式（1-8），可以写成： （1-10） 对于隐层式（1-9），可以写成： （1-11） 对输出层和隐层各定义一个误差信号，令 （1-12） （1-13） 综合利用上式可得权值调整为： （1-14） （1-15） 可以看出，只要计算出式(1-14)、式（1-15）中的误差信号和，权值调整量的计算推导即可完成。下面继续推导如何求误差信号和 。 对于输出层，可展开为：（1-16） 对于隐层，可展开为： （1-17） 对式（1-5）求各阶偏导数可得： （1-18） 对于隐层有： （1-19） 故可得： （1-20） 将上式代入（1-16），并利用单极性Sigmoid函数可得： （1-21） （1-22） 将式（1-21）、（1-22）代入式（1-14）、（1-15）可得三层前馈网的BP学习算法权值调整的计算公式为： （1-23） （1-24） 3 基于BP的多层前馈网的主要能力、局限性及改进 3.1 主要能力 （1）非线性映射能力 多层前馈网能学习和存贮大量输入-输出模式映射关系，而无需事先了解描述这种映射关系的数学方程。只要能提供足够多的样本模式对供BP网络进行学习训练，它便能完成由