模式识别BP神经网络学习算法.docVIP

PAGE PAGE 1 BP神经网络的学习算法 四川成都 摘要：本文主要探讨的人工神经网络中的BP网络，它是前馈神经网络中的核心部分，也是最精华的部分。本文详细介绍了BP网络学习算法的C语言实现过程，同时也对其局限性进行了探讨。 关键词：人工神经网络，BP学习算法，完备性 神经网络的出现不仅对于人工智能，而且对于心理学、语言、神经生理学、哲学都具有重要意义。目前，神经网络模型有上百种，其中，误差反向传播神经网络(Error Back Propagation NeuralNetwork)，简称BP神经网络，应用最为广泛和成功，它具有强大的非线性映射能力，在处理非线性复杂问题方面具有特殊的优势，在工程、金融、医学、语言学等众多领域都有重要应用，众多认知科学都以它为模型进行探讨和分析。其联结主义工作范式不仅推动了人工智能研究的范式转换，而且具有重要的认知意义，为认知心理学、语言学等学科联结主义范式研究。带来了现实的可操作模型。 一．人工神经网络的原理 神经元是大脑中的细胞，它的主要功能是收集，处理和分发电信号。大脑的信息处理能力被认为主要是从这种神经元构成的网络中涌现出来的。由于这个原因，一些早期的人工智能工作致力于创造人工神经网络。（这个领域的其它名称包括联结主义，并行分布处理，以及神经计算。）一个最简单的神经元数学模型表现为：当输入的线性组合超过一定阈限时，它会“激发”。从1943年开始，人们开发了许多更精细的和更实际的模型，用于模拟人脑中的神经元和更大的系统，直到现在的计算机神经学领域。另一方面，人工智能及统计学的学者开始对神经元网络中更抽象的属性感兴趣，比如它们执行分布式计算的能力，对有噪声输入的容忍能力以及学习的能力等。尽管我们现在了解到其它种类的系统——包括贝叶斯网络——也有这样的特性，但神经元网络仍然是学习系统中一个最流行和有效的形式，而且它们自身也值得研究。 1. 人工神经网络的组成 人工神经网络模型如下图所示，主要有三个基本要素组成：①一组连接，对应于生物神经元的突触，其连接强度由各连接上的权值表示，权值为正表示激活，为负表示抑制。②一个求和单元。用于求取各输入信号的加权和(线性组合)。③—个非线性激励函数。非线性映射作用并将神经元输出幅度限制在一定范围之内(一般限制在【0,1】或【-1,1】之间)．此外还有一个阈值bk。 2.激活函数 激励函数一般有非线性特性。常用的激发函数有（a）阈值型，（b）分段线性型，（c）Sigmoid函数型，（d）双曲正切型，如下图所示： 3. 人工神经网络的结构 人工神经网络中，各神经元的连接方式一般有很多种，不同的链接方式就构成了网络的不同连接模型。常见的连接模型有前向网络，从输入层都输出层有反馈的网络，层内有互联的网络和网络内任意两个神经元都可以互联的互联网络。前向网络中，神经元分层排列，有输入层，中间层（又称隐层，可有多层）和输出层，每一层神经元只接受来自前一层神经元的输出；从输入层到输出层有反馈的网络与前向网络的区别仅在于，输出层上的某些输出信息又作为输出信息送到输入层的神经元上；层内有互联的网络是指，除了像前两种网络一样接受来自前一层神经元的信息外，网络中间一层上的神经元还可以相互作用；而互联网络则是指网络中的任意两个神经元间都可以有连接。 4. 人工神经网络的主要特征 ①能较大的模拟人的形象思维； ②具有较大规模并行协同处理能力； ③具有较强的学习能力； ④具有较强的容错能力和联想能力； ⑤是一个大规模自组织，自适应的非线性动力系统。 二．BP神经网络的建立 BP神经网络是人工神经网络的一个典型模型，全称是反向传播算法，是一种多层感知器结构，由若干层神经元组成，网络不仅有输入层节点，输出层节点，还可以有一层或多层隐含层节点。由于BP算法过程包含从输出节点开始，反向地向第一隐含层（即最接近输入层的隐含层）传播由总误差引起的权值修正，所以称为反向传播。 三．BP网络的学习算法 BP算法的学习目的是对网络的连接权值进行调整，使得调整后的网络对任一输入都能达到所期望的输出。学习过程由正向传播与反向传播组成。正向传播用于对前向网络进行计算，即对某一输入信息，经过网络计算后得出它的输出结果；反向传播用于逐层传递误差，修改神经元间的连接权值，以使网络对于输入信息经过计算后得到的输出能达到期望的误差要求。 学习的方法是使用一组训练样例对网络的连接权值进行训练，每一个样例中，都包括输入及期望的输出两部分。在正向传播算法中，首先将训练样例的输入信息输入到网络中，输入信息从输入层经过隐层节点逐层计算处理后，传至输出层。在计算处理过程中，每一层神经元的状态只影响下一层神经元的状态，如果在输出层得到的结果不是所期望的输出，那么就转为反向传播。 反向传播把误差信号沿路径方向传回，并按一