神经元网络理论.ppt

第2章 神经元网络理论 1.1 绪论 为什么要用人工神经元网络？ 人的大脑实际上是由复杂的神经元网络所组成的，正是因为这些神经元网络的作用，人才能以很高的速度理解感觉器官传来的信息，尽管这些信息有时含糊不清。比如：人的听觉神经网络能够在喧闹的环境中识别清楚对方的声音；人的视觉神经网络能够在不到1秒钟的瞬间认出多年来见的老朋友；人的智能神经网络能够归纳出某一长篇文章的中心思想；另外还有一个最重要的方面，就是人脑的学习能力和创造能力，它能从环境中学习，从书本中学习．从所经历的事件中学习．并能利用所学到的知识去创造新的知识。 为什么要用人工神经元网络？ 这所有的一切都是目前任何一种人造的机器所望尘莫及的。人脑之所以有这些能力，主要取决于人脑本身的构造．加之多年以来的学习过程。因此，为了解释人脑的奥秘，也为了提高目前人造机器的能力．人们对人脑的工作机理进行了长期不懈的探索和模拟，逐渐发展起来了一门新兴的学科——人工神经元网络。这一学科的研究目的在于模拟大脑神经网络的原理来构成一种人造的“大脑”，或者说将目前的电脑变成“大脑”。 1.2 导论 1.3 神经元网络的结构及工作原理 生物神经元 常用的传递函数 线性函数 输入层 对数型函数 隐含层和输出层 双曲正切函数 隐含层和输出层 作用函数的导数 注意：神经元的计算 神经元网络的计算 神经元网络的学习目的 神经元网络通过学习来解决问题，而不是通过编程。学习和训练几乎对所有的神经网络来说都是最基本的。网络不是通过修改处理单元本身来完成训练过程，而是靠改变网络中各连接的权重来学习的。对每一个处理单元而言，若假设其传递函数不变（一般情况下，训练过程中处理单元的传递函数是不变的），其输出是由输入数据和与此处理单元连接的各输入量的权重。因此，若处理单元学会正确地反映所给数据的模式，唯一用以改善处理单元性能的元素就是连接的权重。可见，学习过程实际上是神经网络修改它的权重而响应外部输入的过程。 训练和学习并不完全相同。训练是指网络的学习过程，而学习是此过程的结果。训练是外部过程，而学习是网络的内部过程。 神经元网络的学习方式 有导师学习：在学习过程中，网络根据实际输出与期望输出的比较，进行连接权系的调整，将期望输出称为导师信号，它是评价学习的标准。 神经元网络的学习方式 无导师学习：没有导师信号提供给网络，网络能根据其特有的结构和学习规则，进行连接权系的调整，此时，网络的学习评价标准隐含于其内部。 神经元网络的学习规则 误差纠正学习规则—δ规则 δ规则是最常用的规则，其要点是改变单元间的连接权重来减小系统实际输出与应有输出之间的误差。 相关学习规则—Hebb规则 Hebb规则是最有名的规则，其要点是如果处理单元从另一个单元接受到一个输入，并且如果两个单元都处于高度活动状态（同为激活或抑制）时，两个单元之间的连接权重应被加强，反之应被减弱。 竞争学习规则—Kohonen规则 在竞争学习时，网络各输出单元互相竞争，最后达到只有一个最强者激活，只有该输出单元才能有输出，只有它与其相邻单元可以调节权重。 1.4 多层前向网络的逼近能力及其训练算法 神经元网络分类 前向 反馈 自组织 随机型 其中，多层前向神经网络是最常用、最流行的神经网络模型，其逼近能力和训练算法是其应用的关键。误差反传算法（BP）是最著名的多层前向网络训练算法，尽管存在收敛慢、存在局部极值和泛化能力有限等缺点，但因其简单、易行、计算量小、并行性强等特点，目前仍是多层前向神经网络训练的首选算法。 多层前向神经网络的逼近能力 多层前向神经元网络的输入—输出关系，可以看成一种映射关系，即每一组输入对应着一组输出。由于网络中神经元作用函数的非线性，因此网络可以实现复杂的非线性映射。关于这类网络对非线性的逼近能力，早在1987年Wieland和Leighten就已进行了研究；1988年，Irie和Miyake的研究表明三层前向网络可以表示一类可积函数；1989年，Carroll和Dickinson、Cybonko、Funahashi、Hornik、Hecht—Nielsen等分别用不同的方法证明：仅含有一个隐层的前向网络能以任何精度逼近定义在的一个紧集上的任意非线性函数。 误差反向传播算法（BP） BP算法的学习过程由正向传播和反向传播组成。在正向传播过程中，输入信息从输入层经隐含层逐层处理，并传向输出层，每一层神经元的状态只影响下一层的状态。若在输出层得不到期望的输出，则转入反向传播，将误差信号沿原来的连接通路返回，通过修改各层神经元的权值，使误差信号最小。 假定有一个m层的多层前向网络 把第k层的第i个节点记为 ,其输入是 ，输出是 ,传递函数记为f,则 从