基础知识(续)人工神经网络常用学习规则.pptVIP

人工神经网络是由人工神经元（简称神经元）互联组成的网络，它是从微观结构和功能上对人脑的抽象、简化，是模拟人类智能的一条重要途径，反映了人脑功能的若干基本特征，如并行信息处理、学习、联想、模式分类、记忆等。目前，已发展了几十种神经网络，例如Hopfield模型，Feldmann等的连接型网络模型，Hinton等的玻尔茨曼机模型，以及Rumelhart等的多层感知机模型和Kohonen的自组织网络模型等等。在这众多神经网络模型中，应用最广泛的是多层感知机神经网络。多层感知机神经网络的研究始于20世纪50年代，但一直进展不大。直到1985年，Rumelhart等人提出了误差反向传递学习算法（即BP算法），实现了Minsky的多层网络设想。神经网络对控制领域和反问题研究有吸引力的特征表现在：(1)能逼近任意L2上的非线性函数；(2)信息的并行分布式处理与存储；(3)可以多输入、多输出；(4)便于用超大规模集成电路(VLSI)或光学集成电路系统实现，或用现有的计算机技术实现；(5)能进行学习，以适应环境的变化。决定网络整体性能的三大要素包括：(1)神经元（信息处理单元）的特性；(2)神经元间相互联接的形式—拓扑结构；(3)为适应环境而改善性能的学习规则。表5-1为对神经网络发展有重要影响的神经网络神经网络通过相继给网络输入一些样本模式，并按照一定的规则（或学习算法）不断改变网络各层的连接权值，使网络的输出不断地接近期望的输出值，这一个过程称为神经网络的学习或训练。学习的实质是可变权值的动态调整的自适应过程。改变权值的规则称为学习规则或学习算法（相应也称训练规则或训练算法）。单个处理单元，无论采用哪一种学习规则进行调整，其算法都十分简单。大量处理单元集体进行权值调整时，网络就呈现出“智能”的特性。神经网络的学习方式是决定神经网络信息处理性能的第三大要素，因此有关学习的研究在神经网络研究中具有重要地位。改变权值的规则称为学习规则或学习算法（亦称训练规则或训练算法）。在单个处理单元层次，无论采用哪种学习规则进行调整，其算法都十分简单。但当大量处理单元集体进行权值调整时，网络就呈现出“智能”特性，其中有意义的信息就分布地存储在调节后的权值矩阵中。神经网络的学习算法很多，一种广泛采用的分类方法是将神经网络的学习算法归纳为3类。有导师学习也称为有监督学习，这种学习模式采用的是纠错规则。在学习训练过程中需要不断给网络成对提供一个输入模式和一个期望网络正确输出的模式，称为“教师信号”。将神经网络的实际输出同期望输出进行比较，当网络的输出与期望的教师信号不符时，根据差错的方向和大小按一定的规则调整权值。当网络对于各种给定的输入均能产生所期望的输出时，即认为网络已经在导师的训练下“学会”了训练数据集中包含的知识和规则，可以用来进行工作了。无导师学习也称为无监督学习，学习过程中，需要不断给网络提供动态输入信息，网络能根据特有的内部结构和学习规则，在输入信息流中发现任何可能存在的模式和规律，同时能根据网络的功能和输入信息调整权值，这个过程称为网络的自组织，其结果是使网络能对属于同一类的模式进行自动分类。在这种学习模式中，网络的权值调整不取决于外来教师信号的影响，可以认为网络的学习评价标准隐含于网络的内部。死记式学习是指网络事先设计成能记忆特别的例子，以后当给定有关该例子的输入信息时，例子便被回忆起来。死记式学习中网络的权值一旦设计好了就不再变动，因此其学习是一次性的，而不是一个训练过程。MP模型是于1943年由美国心理学家McCulloch和数学家Pitts建立的第一个神经元模型，也可以称为处理单元(ProcessingElement)，它是一个多输入－多输出的非线性信息处理单元。如图5-6所示，图5-7为MP模型的作用函数。MP神经元是人工神经元模型的基础，也是人工神经网络模型的基础。F(x)(x)人类具有学习能力，人类的知识和智慧是在不断的学习与实践中逐渐形成和发展起来的。关于人工神经网络的学习机制，涉及到神经元如何分布、处理和存储信息。常用的人工神经网络学习规则如下，图5-8是权值调整的一般情况，其中：Wj为联接到神经元j的权值向量，X为输入向量，r为学习信号，d为导师信号。权向量的调整准则为式中?为学习速率。权值调整的迭代格式为dj信号生成器Oj?XX1w?wj2jr(w,x,d)31949年，心理学家最早提出了关于神经网络学习机理的“突触修正”的假设。该假设指出，当神经元的突触前膜电位与后膜电位同时为正时，突触传导增强，当前膜电位与后膜电位正负相反时，突触传导减弱，也就是说，当神经元i与神经元j同时处于兴奋状态时，两者之间的连接强度应增强。根据该假设定