人工神经网络论文.doc

第一部分： 绪论 1.1人工神经网络的定义 人工神经网络的定义不是统一的，T.Koholen对人工神经网络的定义：“人工神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。” 1.2人工神经网络的基本原理 人工神经网络（articles neural network，ANN）结构和工作机理基本上以人脑的组织结构（大脑神经元网络）和活动规律为背景的，它反映了人脑的某些基本特征，但并不是要对人脑部分的真实再现，可以说它是某种抽象、简化或模仿。 1.3生物神经元 神经元是大脑处理信息的基本单元，人脑大约由1011个神经元组成，神经元互相连接成神经网络。神经元以细胞体为主体，由许多向周围延伸的不规则树枝状纤维构成的神经细胞，其形状很像一棵枯树的枝干。主要由细胞体、树突、轴突和突触(Synapse，又称神经键)组成 。 图1.1 生物神经元的示意图 生物神经元传递信息的过程为多输入、单输出，神经元各组成部分的功能来看，信息的处理与传递主要发生在突触附近，当神经元细胞体通过轴突传到突触前膜的脉冲幅度达到一定强度，即超过其阈值电位后，突触前膜将向突触间隙释放神经传递的化学物质，突触有两种类型，兴奋性突触和抑制性突触。前者产生正突触后电位，后者产生负突触后电位。 1.4人工神经元模型 1通用模型 P P1 P2 Pn W1 W2 Wn a Σ θ f 2求和操作 3响应函数 y=σ(s) 1.5人工神经网络模型 1前向网络 (a) 2从输出到输入有反馈的前向网络 (b) 3用来存储某种模式序列,层内互连前向网络 (c) 4限制层内同时动作的神经元；分组功能相互结合型网络 (d) 1.6.常见神经元响应函数 a)阈值单元σ(s)= EQ (b)线性单元 y=σ(s)=s (c)非线性单元：Sigmoid函数 EQ EQ （1） （2） 1.7.神经网络基本学习算法 1.7.1有教师学习（监督学习） 神经网络 神经网络 （学习系统） 误差分析 误差信号 e t 期望输出 P 输入 a 期望输出 1.7.3强化学习（再励学习） 神经网络 神经网络 （学习系统） 外部环境 评价信息 P 输入 a 期望输出 第二部分：反向传播网络 2.1 BP网络 反向传播网络(Back-Propagation Network，简称BP网络)是将W-H学习规则一般化，对非线性可微分函数进行权值训练的多层网络 。权值的调整采用反向传播(Back-propagation）的学习算法，它是一种多层前向反馈神经网络，其神经元的变换函数是S型函数。输出量为0到1之间的连续量，它可实现从输入到输出的任意的非线性映射。 2.1.1BP网络主要应用： （1）函数逼近：用输入矢量和相应的输出矢量训练一个网络逼近一个函数 （2）模式识别和分类：用一个特定的输出矢量将它与输入矢量联系起来；把输入矢量以所定义的合适方式进行分类； （3）数据压缩：减少输出矢量维数以便于传输或存储 （4）具有将强泛化性能：使网络平滑地学习函数，使网络能够合理地响应被训练以外的输入 泛化性能只对被训练的输入／输出对最大值范围内的数据有效，即网络具有内插值特性，不具有外插值性。超出最大训练值的输入必将产生大的输出误差 2.1.2BP网络特点 （1）输入和输出是并行的模拟量 （2）网络的输入输出关系是各层连接的权因子决定，没有固定的算法 （3）权因子通过学习信号调节。学习越多，网络越聪明 （4）隐含层越多，网络输出精度越高，且个别权因子的损坏不会对网络输出产生大的影响 只有当希望对网络的输出进行限制，如限制在0和1之间，那么在输出层应当包含S型激活函数。在一般情况下，均是在隐含层采用S型激活函数，而输出层采用线性激活函数。 2.1.3多层BP网络简介 多层BP网络是一种具有三层或三层以上的多层神经网络，每一层都由若干个神经元组成，如图 2-1所示，它的左、右各层之间各个神经元实现全连接，即左层的每个神经元与右层的每个神经元都由连接，而上下神经元无连接。 r ri1 ri2 rim O1 O2 O 2-1多层BP网络 BP网络按有教师学习方式进行训练，当一对学习模式提供给网络以后，其神经元的激活值将从输入层经中间层向输出层传播，在输出层的各神经元输出对应于输入模式的网络响应。然后，按减少希望输出与实际输出误差的原则，从输出层经中间层，最后回到输入层逐层修正个连接权。由于这种修正过程是从输出到输入逐层进行的，所以称它为“误差逆传播算法”。随着这种误差逆传播训练的不断进行，网络对输入模式响应的正确率也将不断提高。 由于BP网络有处于中间位置的隐含层，并有相应的学习规则可循，可训练这种网络