第四章人工神经元模型引言.ppt

第四章人工神经元模型4.1引言模糊逻辑控制解决了人类智能行为的语言的描述和推理问题人工神经网络是模拟人脑细胞的分布式工作特点和自组织功能，且能实现并行处理、自学习和非线性映射等能力的一种系统模型。一、引言发展历史：1943年，心理学家McCmloch和数学家Pitts合作提出形式神经元数学模型(MP)，揭开了神经科学理论的新时代。1944年Hebb提出了改变神经元连接强度的Hebb规则1957年Rosenblatt首次引进了感知器概念（Perceptron)。1976年，Grossberg提出了自适应共振理论1982年，美国加州工学院物理学家Hopfield提出了HNN模型，他引入了“计算能量函数”的概念，给出了网络的稳定性判据1986年，Rumelhart等PDP研究小组提出了多层前向传播网络的BP学习算法一、引言神经元网络系统的研究：神经元模型神经网络结构神经网络学习方法从神经元模型角度来看,有线性处理单元非线性处理单元从网络结构方面来看，有：前向网络反馈网络自组织网络一、引言神经元模型是生物神经元的抽象和模拟。可看作多输入/单输出的非线性器件。ui神经元的内部状态，θi?阀值，xi?输入信号，j=1,2,…,n;wij?表示从单元uj到单元ui的连接权值;si?外部输入信号一、引言数学模型ui=f(Neti)yi=g(ui)通常可以假设g(ui)=ui，则： yi=f(Neti)f为激励函数，通常有4种类型。一、引言1、阈值型2、分段线性型一、引言3、Sigmoid函数型4、Tan函数型一、引言神经网络模型的种类相当丰富，已有近40余种各式各样的神经网络模型。根据连接方式的不同，神经网络的结构类型主要分4类：前向网络反馈网络相互结合型网络混合型网络一、引言前向网络(a)、反馈网络(b)、相互结合型网络(c)、

混合型网络(d)一、引言神经网络的学习算法有导师学习:就是在训练过程中，始终存在一个期望的网络输出。期望输出和实际输出之间的距离作为误差度量并用于调整权值无导师学习:无导师学习指的是网络不存在一个期望的输出值,需建立一个间接的评价函数一、引言神经网络学习规则根据连接权系数的改变方式不同又可分为如下三类:相关学习纠错学习无导师学习一、引言相关学习:仅仅根据连接间的激活水平改变权系数。它常用于自联想网络。最常见的学习算法是Hebb规则:如果单元ui接受来自另一单元uj的输出，那么，如果两个单元都高度兴奋，则从uj到ui的权值wij便得到加强。用数学形式可以表示为:Δwij=ηyiojη表示学习步长一、引言纠错学习:有导师学习方法，依赖关于输出节点的外部反馈改变权系数。它常用于感知器网络、多层前向传播网络和Boltzmann机网络。其学习的方法是梯度下降法。最常见的学习算法有δ规则、模拟退火学习规则。δ规则学习信号就是网络的期望输出t与网络实际输出y的偏差δj=tj-yj。连接权阵的更新规则为：Δwji=ηδjyi一、引言无导师学习表现为自适应实现输入空间的检测规则。它常用于ART、Kohonen自组织网络。例如Winner-Take-All学习规则假设输出层共有no个输出神经元,且当输入为x时,第m个神经元输出值最大,则称此神经元为胜者。并将与此胜者神经元相连的权系数Wm进行更新。其更新公式为：Δwmj=η(xj-wmj),j=1,2,...ni式中η0,为小常数一、引言神经网络的泛化能力当输入矢量与样本输入矢量存在差异时，其神经网络的输出同样能够准确地呈现出应有的输出。这种能力就称为神经网络的泛化能力。在有导师指导下的学习中，泛化能力可以定义为训练误差和测试误差之差。与输入矢量的个数、网络的节点数和权值与训练样本集数目之间存在密切的关系。一、引言