人工神经网络导论幻灯.docVIP

PAGE / NUMPAGES 第1 章 绪论 1.1 从生物神经网络到人工神经网络 在你阅读本书时,你就用到了一个复杂的生物神经网络,大约有1011个相互连接的神经元帮助你进行阅读、呼吸、思考、完成各种动作等,部分神经网络的结构和功能是与生具有的,比如支配呼吸、哭、吮吸等本能动作的功能;而大多数的功能需要通过后天的学习才能获得。 虽然人们还并不完全清楚生物神经网络是如何进行工作的,但幻想构造一些“人工神经元”,进而将它们以某种方式连接起来,可以模拟“人脑”的某些功能。这就是本书所要讨论的“人工神经网络”。 1.2 人工神经网络的发展史 人工神经网络(artificial neural network ,ANN)的发展经历了大约半个世纪,从20 世纪40 年代初到80 年代,神经网络的研究经历了低潮与高潮几起几落的发展过程。早在1943年,心理学家W.McCulloch 和数学家W. Pitts 合作,从数理逻辑的角度,提出了神经元和神经网络最早的数学模型(McCulloch-Pitts , MP模型),标志着神经网络研究的开始。 1958年,F.Rosenblatt首次引进了模拟人脑感知和学习能力的感知器(perceptron )概念,引起了人们的极大兴趣。感知器由简单的阈值性神经元构成,初步具备了诸如学习、并行处理、分布存储等神经网络的一些基本特征,从而确立了从系统角度进行人工神经网络研究的基础。 1960 年,B.Widrow 和M.Hoff 提出了主要适用于自适应系统的自适应线性元件(ADAptive LINear NEuron , ADALINE )网络,采用了比感知器更复杂的学习程序。Widrow -Hoff 技术被称为最小均方误差(least mean square,LMS)学习规则。从此神经网络的发展进人了第一个高潮期。 1969年,美国麻省理工学院著名的人工智能专家M.Minsky 和S.Papert 出版了颇有影响的PercePtron一书,从数学上剖析了简单神经网络的功能和局限性,并且指出多层感知器还不能找到有效的计算方法,由于M . Minsky 在学术界的地位和影响,其悲观的结论,被大多数人不做进一步分析而接受;加之当时以逻辑推理为研究基础的人工智能和数字计算机的辉煌成就,大大降低了人们对神经网络研究的热情,故使神经网络的研究在其后的若于年内处于低潮。 1972 年T.Kohonen 和J.Anderson不约而同地提出具有联想记忆功能的新神经网络;1976年,S.Grossberg 与G.A .Carpenter 提出了自适应共振理论(adaptive resonance theory.ART ) ,并在以后的若干年内发展了ART1 , ART2 , ART3 这3 种神经网络模型,从而为神经网络研究的发展奠定了理论基础。 进人20 世纪80 年代,特别是80年代末期,对神经网络的研究从复兴很快转人了新的热潮。这主要是因为：一方面经过十几年迅速发展的以逻辑符号处理为主的人工智能理论和冯· 诺依曼(von Neumann )计算机在处理诸如视觉、听觉、形象思维、联想记忆等智能信息处理问题上受到了挫折;另一方面,并行分布处理的神经网络本身的研究成果,使人们看到了新的希望。 1982 年美国加州工学院的物理学家J.Hoppfield 提出了HNN ( Hoppfield neural network )模型,并首次引人了网络能量函数概念,使网络稳定性研究有了明确的判据,其电子电路实现为神经计算机的研究奠定了基础,同时开拓了神经网络用于联想记忆和优化计算的新途径。 1983 年K.Fukushima 等提出了神经认知机网络理论; 1985 年D.H .Ackley 、G.E.Hinton 和T.J.Sejnowski 将模拟退火概念移植到Boltzmann 机模型的学习之中,以保证网络能收敛到全局最小值。 1986 年,D.Rumelhart 和J.McCelland 等提出的PDP(parallel distributed processing )理论则致力于认知微观结构的探索,同时发展了多层网络的BP 算法,使BP 网络成为目前应用最广的网络。 1987 年,T.Kohonen 提出了自组织映射(Self organizing map , SOM)。 1987 年,美国电气和电子工程师学会IEEE ( institute for electrical and electronic engineers )在圣地亚哥(San Dieg 。)召开了盛大规模的神经网络国际学术会议,国际神经网络学会(international neural networks society )也随之诞生。 1988 年