第五节神经网络理论基础.docVIP

第五章：神经网络理论基础 §5.1 引言 当你现在学习神经网络知识的时候，你实际上正在使用着一个复杂的生物神经网络。神经生理学和神经解剖学证明，人的思维是由脑完成的。神经元是组成人脑的最基本单元，能够接受并处理信息。人脑约由101l~1012个神经元组成，其中，每个神经元约与104~105个神经元通过突触联接，形成极为错纵复杂而且又灵活多变的神经网络。虽然，每个神经元都比较简单，但是，如此多的神经元经过复杂的联接却可以演化出丰富多彩的行为方式。因此，人脑是一个复杂的信息并行加工处理巨系统。探索脑组织的结构、工作原理及信息处理的机制，是整个人类面临的一项挑战，也是整个自然科学的前沿。 关于人脑的功能，一方面受先天因素的制约，即由遗传信息先天确定了其结构与特性，另一方面后天因素也起重要的作用，即大脑可通过其自组织(Self-Organization)、自学习(Self-Learning)，不断适应外界环境的变化。一般认为，包括记忆在内的所有生物神经功能，都存贮在神经元及其之间的连接上。学习被看作是在神经元之间建立新的连接或对已有的连接进行修改的过程。大脑的自组织、自学习性，来源于神经网络结构的这种可塑性(Plasticity)，它主要反映在神经元之间联接强度是可变的。 既然我们已经对生物神经网络有一个基本的认识，那么能否利用一些简单的人工“神经元”构造一个小神经网络系统，然后对其进行训练，从而使它们具有一定有用功能呢？答案是肯定的。当然，人工神经元不是生物神经元，它们是对生物神经元极其简单的抽象，可以用程序或硅电路实现。虽然由这些神经元组成的网络的能力远远不及人脑的那么强大，但是可以对其进行训练，以实现一些有用的功能。 §5.2神经网络模型 5.2.1 生物神经网络的启示 前面分析可知，人脑由大量的、高度互连的神经元组成。神经元主要由三部分组成：树突、细胞体和轴突。树突是树状的神经纤维接收网络，它将电信号传送到细胞体，细胞体对这些输入信号进行整合并进行阈值处理。轴突是单根长纤维，它把细胞体的输出信号导向其他神经元。一个神经细胞的轴突和另一个神经细胞树突的结合点称为突触。神经元的排列和突触的强度(由复杂的化学过程决定)确立了神经网络的功能。图5.2.1是两个生物神经元的连接情况。 图5.2.1 生物神经元网络结构 生物学研究表明一些神经结构是与生俱来的，而其他部分则是在学习的过程中形成的。在学习的过程中，可能会产生一些新的连接，也可能会使以前的一些连接消失。这个过程在生命早期最为显著。比如，如果在某一段关键的时期内禁止一只小猫使用它某一只眼睛，则它的这只眼在以后很难形成正常的视力。神经结构在整个生命期内不断地进行着改变，后期的改变主要是加强或减弱突触连接。生物学研究结果认为，新记忆的形成实际上是通过改变突触强度而实现的，因此，记住一位新朋友的面孔实质上是对各种突触改变的过程。 前面分析可知，生物神经网络是由大量的生物神经元（信息处理单元）高度互连而成，网络的功能主要取决于神经元的连接状态。人工神经网络正是基于生物神经网络的特点而构成的，可以通过电子电路实现。虽然没有人脑那么复杂，但二者之间的关键相似之处是：两个网络的构成都是可计算单元的高度互连(虽然人工神经元比生物神经元简单得多)，处理单元之间的连接决定了网络的功能。 值得注意的是，虽然生物神经元相对于电子电路来说非常慢(10-3秒相对于10-9秒)，但人脑却能以比现有计算机快得多的速度完成许多任务。这主要是因为生物神经网络具有巨大的并行性，即所有的神经元能同时操作。目前，大多数人工神经网络通过传统的数字计算机实现，但其并行处理结构也适合于采用电子、光学器件和并行处理技术实现。 5.2.2 人工神经元模型 人工神经网络(ANN—Artificial Neural Network)是模拟人类智能的一条重要途径，具有模拟人的部分形象思维的能力。它是由简单信息处理单元(人工神经元，简称神经元)互连组成的网络，能接受并处理信息，网络的信息处理由处理单元之间的相互作用来实现，通过把问题表达成处理单元之间的联接权来处理。 一、单输入神经元 对照生物神经元网络结构（图5.2.1），可以得到一个单输入神经元如图5.2.2所示。其权值对应于突触的连接强度，细胞体对应于累加器和作用函数，神经元输出即轴突的信号。 图5.2.2 单输入神经元模型 图中，是指神经元的输入； 是指连接权值； 是神经元的阈值； 是神经元的净输入； 是非线性函数； 是神经元的输出。 神经元的输出： (5.2.1) 当输入，权值，阈值时，神经元输出。可见，神经元的实际输出还取决于所选择的作用函数。神经元的阈值可以看作为一个输入值是