【 数学建模竞赛】人工神经网络简介.docVIP

第1章 人工神经网络简介 1.1 引言 图1.1 神经元构成示意图 因此，人们利用大脑的组织结构和运行机制的特点，从模仿人脑智能的角度出发，来探寻新的信息表示、存储和处理方式，设计全新的计算机处理结构模型，构造了一种更接近人类智能的信息处理系统，即人们目前正在研究的人工神经网络（Artificial Neural Networks，简称NN）系统。简而言之，所谓NN就是模仿人脑工作方式而设计的一种机器，它可用电子或光电元件实现，也可用软件进行计算机仿真。自从上世纪40年代初，美国McCulloch和Pitts从信息处理的角度，研究神经细胞行为的数学模型表达,提出了二值神经元模型以来，人们对神经网络进行了大量的研究。其中经历了40年代末心理学家Hebb提出著名的Hebb学习规则[1]，50年代Rosenblatt提出的感知机模型(Perceptron)[2]，60年代神经网络的研究的低潮，80年代提出的一种新的神经网络HNN[3]和Boltzmann机[4]等一系列的过程。目前，神经网络的发展非常迅速，从理论上对它的计算能力、对任意连续函数的逼近能力、学习理论以及动态网络的稳定性分析上都取得了丰硕的成果。特别是在应用上已迅速扩展到许多重要领域[5, 6]。如模式识别与图像处理中的手写体字符识别，语音识别，人脸识别，基因序列分析，医学疾病的识别，油气藏检测，加速器故障检测，电机故障检测，图像压缩和还原；控制及优化方面的化工过程控制，机械手运动控制，运载体轨迹控制等；金融中的股票市场预测，有价证券管理，借贷风险管理，信用卡欺骗检测；通信中的回声抵消，路由选择，自适应均衡，导航等方面。 1.2 人工神经网络 1.2.1 图1.2 基本神经元模型 （1）一组连接，连接强度由各连接上的权值表示，权值为正表示激活，为负表示抑制。 （2）一个求和单元，用于求取个输入信号的加权和（线性组合）。 （3）一个非线性激活函数，起非线性映射作用并将神经元输出幅度限制在一定的范围之内。常见的激活函数有阈值函数、分段线性函数和sigmoid函数等 此外还有一个阈值（或偏置）。 1.2.2 网络结构及工作方式 除单元特性外，网络的拓扑结构也是NN的一个重要特性。从连接方式看NN主要有两种。 （1）前馈型网络。各个神经元接受前一层的输入，并输出给下一层，没有反馈。节点分为两类，即输入单元和计算单元，每一计算单元可有任意个输入，但只有一个输出。通常前馈网络可分为不同的层，第层的输入只与第层的输出相连，输入和输出节点与外界相连，而其他中间层则称为隐层。 （2）反馈型网络。所有节点都是计算单元，同时也可接收输入，并向外界输出，其中每个连接弧都是双向的。若总单元数为，则每一个节点有个输入和一个输出。 NN的工作过程主要分为两个阶段：第一个阶段是学习期，此时各个计算单元状态不变，各连线上的权值可通过学习来修改；第二个阶段是工作期，此时各连接权固定，计算单元状态变化，以达到某种稳定状态。 从作用效果来看，前馈网络主要是函数映射，可用于模式识别和函数逼近。反馈网络按对能量函数的极小点的利用来分类有两种：第一类是能量函数的所有极小点均其作用，这一类主要用作各种亮相存储器；第二类只利用全局极小点，它主要用于求解最优化问题。 1.3 人工神经网络的学习 通过向环境学习获取知识并改进自身性能是NN的一个重要特点，在一般情况下，性能的改善是按某种预定的度量通过调节自身参数（如权值）随时间逐步达到的。在本章中我们重点介绍神经网络的学习规则。 常见的学习规则算法有如下三种： 1.3.1 误差纠正学习（delta规则）[7] 令为输入时神经元在时刻的实际输出，表示相应的应有输出，则误差信号可写为 （1.1） 误差纠正学习的最终目的是使某一基于的目标函数达到最小，以使网络中每一输出单元的实际输出在某种统计意义上最逼近于应有输出。一旦选定了目标函数的形式，误差纠正学习就成立一个典型的最优化问题，常用的目标函数是均方差判据，定义为 （1.2） 其中为求期望算子。由于直接用作为目标函数时，需要指导整个过程的统计特性，为解决这一困难通常用在时刻的瞬时值代替，即 （1.3） 利用最速梯度下降算法可得 （1.4） 其中为学习步长。 这种学习规则成功应用的神经网络模型非常广泛，如最简单的感知器学习算法[2]，这也是神经网络的最原始的应用。而最经典的应用是反向传播学习算法[8 ]，也称BP算法。关于反向传播学习算法，目