人工神经网络基本理论读nshi.docVIP

2人工神经网络基本理论 人工神经网络(artificial neural networks, ANN)，或简称神经网络，是人们在模仿人脑处理问题的过程中发展起来的一种新型智能信息处理理论，它通过大量的被称为神经元的简单处理单元构成非线性系统，对人脑的形象思维、联想记忆等进行模拟和抽象，实现与人脑相似的学习、识别、记忆等信息处理能力。神经网络在经历了60多年的曲折发展之后，在许多领域已显示出巨大的潜力和广阔的应用前景回。 2. 1人工神经网络研究的发展简史 人工神经网络的研究始于20世纪40年代。半个多世纪以来，它经历了一条由兴起到衰退、又由衰退到兴盛的曲折发展过程tz4}0 1943年美国心理学家W. S. MeCulloch和数学家W. Pitts合作，用逻辑的数学工具研究客观事件在形式神经网络中的表述，从此开创了对神经网络的理论研究。他们在分析、总结神经元基本特性的基础上，首先提出了神经元的数学模型，简称为MP模型。神经元模型的出现开创了人工神经网络研究的先河，并为以后的研究提供了依据。 1949年心理学家D. 0. Hebb提出了一种调整神经网络连接权值的规则。他认为，学习过程是在神经元的突触上发生的，连接权值的调整正比于两个相连神经元活动状态的乘积，这就是著名的Hebb学习算法。直到现在，Hebb学习算法仍然是神经网络中一个极为重要的学习算法。 1957年F. Rosenblatt首次提出了著名的感知器(Perception)模型，这是第一个真正的人工神经网络，从而确立了从系统角度研究神经网络的基础，掀起了研究人工神经网络的高潮。 1969年，美国麻省理工学院著名的人工智能专家M. Minsky和S. Papert共同出版了名为《感知器》的专著，指出单层的感知器神经网络只能用于线性问题的求解，而对于像XOR(异或)这样简单的非线性问题却无法求解。Minsky的悲观结论对当时神经网络的研究是一个沉重的打击。由于当时计算机技术还不够发达，因而很多人放弃 了对神经网络的研究，致使在这以后的10年中，神经网络的研究进入了一个缓慢发展的低潮期。整个20世纪70年代，只有线性神经网络模型、自组织识别神经网络模型等少数模型出现。 1982年，美国加州理工学院生物物理学家John. J. Hopf i e 1 d博士提出了著名的Hopfield网络模型。该模型首次引入了网络能量的概念，并给出了网络稳定性判据。Hopfield网络不仅在理论分析与综合上均达到了相当的深度，最有意义的是该网络很容易用集成电路来实现。这一研究成果使神经网络的研究取得了突破性进展，从而掀起了神经网络研究的新热潮。 1986年D. E. Rumelhart和J. L. McCelland及其研究小组提出了误差反向传播算法，即BP算法，成为至今影响最大、应用最广的一种神经网络学习算法，为神经网络研究新高潮的到来起到了推波助澜的作用。 20世纪80年代中期以来，神经网络的应用研究取得了很大的成绩，涉及面非常广泛。国际神经网络学会于1987年正式成立，并于同年在美国圣地亚哥召开了第一届国际神经网络会议。进入20世纪90年代，随着工EEE神经网络会刊的问世，各种论文专著逐年增加，在全世界范围内逐步形成了研究神经网络前所未有的新高潮。 从众多神经网络的研究和应用成果不难看出，神经网络的发展具有强大的生命力。尽管当前神经网络的智能水平还不高，许多理论和应用性问题还未得到很好的解决，但是，随着人们对大脑信息处理机制认识的日益深化，以及不同智能学科领域之间的交叉渗透，人工神经网络必将对智能科学的发展发挥更大的作用[24] 2. 2人工神经网络的基本原理 2. 2. 1人工神经网络的构成要素 人工神经网络是由生物神经网络抽象而来的，而最为发达的生物神经网络就是人类的大脑。人类的大脑大约由10“个神经细胞(Nerve Cells)组成，每个神经细胞又有10q个突触(Synapses)与其它细胞互相联结成一个非常复杂的神经网络[[25]0 图2. 1生物神经细胞结构 神经细胞是脑组织的基本单元，其结构如图2. 1所示，一个神经细胞由一个细胞体(Cell body)，一些分支凸起的树突(Dendrite)和一个单一分支的轴突(Axon) 组成。每一部分虽具有各自的功能，但相互之间是互补的。树突是细胞的输入端，通过细胞体间联结的“突触”接受四周细胞传出的神经冲动，当其所接受的神经冲动(工mpulse)超过某一特定的阂值(Threshold)时，这个神经细胞就会被激发，并产 生一个神经冲动传递到轴突。轴突相当于细胞的输出端，其端部的众多神经末梢为信号的输出端子，用于