神经网络与神络集成.docVIP

神经网络与神经网络集成 与神经网络相关的研究可以追溯到上世纪中期，然而对神经网络的深入研究和广泛应用是在上世纪八十年代末到九十年代初，标志是Hopfield网络结构和BP学习算法的相继提出。 20世纪50年代，F. Rosenblatt提出了感知器模型，这是神经网络最初的雏形，由于它只有一层的权值可调，因此解决不了非线性可分问题。针对感知器在处理非线性问题中存在的不足，Minsky于1969年出版的专著《Perceptrons》一度使神经网络的研究沉寂近20年，同时该书也指出通过加入隐层神经元有可能解决非线性可分问题，但他对加入隐层神经元后能否给出一个有效算法持悲观态度。这一时期，相当一部分人工智能研究者的研究兴趣转向了专家系统这一领域。 Hopfield网络的提出，使神经网络相关研究在70年代末期得到了复苏。但真正掀起神经网络研究高潮的是在80年代初期，D. Werbos，D. Rumelhart和D. Parker三人各自独立发明的误差反向传播算法（Error Back-Propagation, EBP），使多层前馈神经网络的实现成为可能，并使神经网络的研究前进了一大步。 BP网络的提出，极大地激发了人工智能研究者的热情，此后，各种神经网络模型与相应算法纷纷提出，典型如BAM、径向基函数、自组织映射等。 神经网络集成的提出主要是针对单个神经网络的不确定性而提出的。 §8.1 神经网络理论 一、神经网络基本理论 神经网络是对人脑神经系统的数学模拟，其目的是学习和模仿人脑的信息处理能力。撇开神经网络的具体结构形式和学习算法，一般地认为神经网络的信息处理过程包括学习和工作两个相互独立的阶段。在学习阶段，由学习样本集获得权值向量，权值向量中蕴涵学习样本所包含的知识。设为输入向量，W为权值向量，B为输出向量，则对于监督学习，其过程可表为： (8.1.1) 其中是教师信号，如BP网络等。对于非监督学习，其过程可表为： (8.1.2) 如用于主成分分析的PCA网络等。在工作阶段，由输入和权值获得输出 图8.1 神经元结构图 (8.1.3) 图8.1 神经元结构图 二、人工神经元模型 人们对神经系统的研究已经有了很长一段历史，早在19世纪末，人们就开始认识到，人脑包含着数量大约在1010～1012之间的神经元，这些神经元存在着复杂的联接，并形成一个整体，使得人脑具有各种智能行为。 尽管在外观形状上，这些神经元各不相同，然而这些形形色色的神经元都由三个区组成：细胞体、树突、轴突。如图8.1所示。 从图中我们可以看出：一般的神经元有多个树突，它们起感受作用即接受外部（包括其它神经元）传递过来的信息。轴突只有一条，与树突相比它显得长而细，用于传递和输出信息。神经元之间通过突触联结，突触是一个神经元轴突的末梢与另一个神经元的细胞体或树突相接触的地方，每个神经元大约有103～104个突触，换句话说，每个神经元大约与103～104个其它神经元有连接，正是因为这些突触才使得全部大脑神经元形成一个复杂的网络结构。 依据上述理论，可以画出神经元的等效模型图8.2。 图8.2 神经元等效模型 从图8.2可以看出人脑神经系统的工作原理：外部刺激信号或上级神经元信号经合成后由树突传给神经元细胞体处理，最后由突触输出给下级神经元或作出响应。 基于神经细胞的这种理论知识，自1943年McCulloch和Pitts提出的第一个人工神经元模型以来，人们相继提出了多种人工神经元模型，其中被人们广泛接受并普遍应用的是图8.3所示的模型。 图8.3 人工神经元模型 图中的为实连续变量，是神经元的输入，称为阈值（也称为门限），是本神经元与上级神经元的连接权值。 神经元对输入信号的处理包括两个过程：第一个过程是对输入信号求加权和，然后减去阈值变量，得到神经元的净输入，即 (8.1.4) 上式表明，连接权大于0的输入对求和起着增强的作用，因而这种连接又称为兴奋连接，相反连接权小于0的连接称为抑制连接。 第二个过程是对净输入进行函数运算，得出神经元的输出，即