BP神经网络算法总汇.docxVIP

BP神经网络算法 1、神经网络历史与运用领域 神经网络最早的研究是 40 年代心理学家 Mcculloch 和数学家 Pitts 合作提出的 ，他们提出的MP模型拉开了神经网络研究的序幕。 神经网络的发展大致经过 3 个阶段：1947～1969 年为初期，在这期间科学家们提出了许多神经元模型和学习规则，如 MP 模型、HEBB 学习规则和感知器等；60 年代末期至 80 年代中期，神经网络控制与整个神经网络研究一样，处于低潮。在此期间，科学家们做了大量的工作，如 Hopfield 教授对网络引入能量函数的概念，给出了网络的稳定性判据，提出了用于联想记忆和优化计算的途径。1984年，Hiton 教授提出 Bol tzman 机模型；1986年 Kumelhart 等人提出误差反向传播神经网络，简称 BP 网络。目前，BP网络已成为广泛使用的网络。1987年至今为发展期，在此期间，神经网络受到国际重视，各个国家都展开研究，形成神经网络发展的另一个高潮。 人工神经网络（ANN）受到生物学的启发是生物神经网络的一种模拟和近似，它从结构、实现机理和功能上模拟生物神经网络。从系统观点看，人工神经元网络是由大量神经元通过极其丰富和完善的连接而构成的自适应非线性动态系统。人工神经网络，因为生物的学习系统是由相互连接的神经元组成的异常复杂的网络，其中每一个神经元单元有一定数量的实值输入，并产生单一的实数值输出。1960 年威德罗和霍夫率先把神经网络用于自动控制研究。神经网络以其独特的结构和处理信息的方法，在许多实际应用领域中取得了显著的成效，主要应用如下：自动控制领域、处理组合优化问题、模式识别、图像处理、传感器信号处理、机器人控制、信号处理、卫生保健、医疗、经济、化工领 域、焊接领域、地理领域、数据挖掘、电力系统、交通、军事、矿业、农业和气象等领域。 2、BP神经网络 据统计[1],在所有的神经网络应用中,BP神经网络所占比例在80%以上。BP神经网络因其良好的非线性逼近能力和泛化能力以及使用的易适性而更是受到众多行业的青睐。BP神经网络采用的反向传播算法(BP算法)是目前在前馈神经网络中研究得最为成熟且应用最广的一种有导师学习算法。BP神经网络在模式识别、图像处理、信息处理、智能控制、故障检测、企业管理、市场分析等方面的应用已取得了显著成效。可以说,BP神经网络的应用已深入到经济、化工、工控、军事等众多领域,并且从其应用的优势及趋势可以预言其应用前景将更加光明。在这样一个信息及经济高度发达的时期,研究BP神经网络,为其进一步的发展及应用做出一定的贡献是极具理论价值和实用价值的。 2.1、BP神经网络的定义 BP (Back Propagation)神经网络，即误差反传误差反向传播算法的学习过程，由信息的正向传播和误差的反向传播两个过程组成。输入层各神经元负责接收来自外界的输入信息，并传递给中间层各神经元；中间层是内部信息处理层，负责信息变换，根据信息变化能力的需求，中间层可以设计为单隐层或者多隐层结构；最后一个隐层传递到输出层各神经元的信息，经进一步处理后，完成一次学习的正向传播处理过程，由输出层向外界输出信息处理结果。当实际输出与期望输出不符时，进入误差的反向传播阶段。误差通过输出层，按误差梯度下降的方式修正各层权值，向隐层、输入层逐层反传。周而复始的信息正向传播和误差反向传播过程，是各层权值不断调整的过程，也是神经网络学习训练的过程，此过程一直进行到网络输出的误差减少到可以接受的程度，或者预先设定的学习次数为止。 2.2、BP神经网络结构[1] BP神经网络通常由输入层、隐含层和输出层组成,层与层之间全互连,每层 节点之间不相连。它的输入层节点的个数通常取输入向量的维数,输出层节点的 个数通常取输出向量的维数,隐层节点个数目前尚无确定的标准,需通过反复试 凑的方法,然后得到最终结果。根据Kolmogorov定瑾,具有一个隐层(隐层节点 足够多)的三层BP神经网络能在闭集上以任意精度逼近任意非线性连续函数。所 以,本论文选择单隐层的BP神经网络进行说明,拓扑结构如图2一3所示: 2.3、BP算法的执行步骤 在反向传播算法应用于前馈多层网络时，采用Sigmoid为激发面数时，可用下列步骤对网络的权系数Wij?进行递归求取。注意对于每层有n个神经元的时候，即有i＝1，2，…，n；j＝1，2，…，n。对于第k层的第i个神经元，则有n个权系数Wi1?，Wi2?，…，Win?，另外取多—个Win+1?用于表示阀值θi?；并且在输入样本X时，取x＝(X1?，X2?，…，Xn?，1)。 算法的执行的步骤如下： 1．对权系数Wij?置初值。 对各层的权系数Wij?置一个较小的非零随机数，但其中Wi?,n+1=-θ?。 2．输入一个样本X＝(xl?，x2?