神经网络理论基础.pptVIP

1890年，W.James发表《心理学》， 讨论脑结构和功能 1943年，W.S.McCulloch和W.Pitts提出了描述脑神经细胞动作的数学模型，即MP模型。 1949年，D.O.Hebb提出了神经元的学习法则，即Hebb法则。 50年代末，E.Rosenblatt提出了描述信息在人脑中存储和记忆的数学模型，即感知机(Perceptron)模型。 感知机是现代神经计算的出发点。Block于1962年用解析法证明了感知机的学习收敛定理。正是由于这一定理的存在，才使得感知机的理论具有实际的意义，并引发了60年代以感知机为代表的第一次神经网络研究发展的高潮。 1961年，E．R．Caianiello提出了能实现记忆和识别的神经网络模型，它由学习方程式和记忆方程式两部分组成。 1962年，M．Minsky和S.Papert进一步发展了感知机的理论，他们把感知机定义为一种逻辑函数的学习机。 B．Widraw在稍后于感知机一些时候提出了Adline分类学习机。它在结构上与感知机相似，但在学习法则上采用了最小二乘平均误差法。 1965年M. Minsky和S. Papert在《感知机》一书中指出感知机的缺陷并表示出对这方面研究的悲观态度，使得神经网络的研究从兴起期进入了停滞期，这是神经网络发展史上的第一个转折 2.低潮期（1969-1982年） 神经网络理论研究水平的限制 计算机发展的冲击 1969年，Grossberg提出迄今为止最复杂的ART神经网络 1972年，Kohonen提出自组织映射的SOM模型 到了20世纪80年代初，J.J. Hopfield的工作和D. Rumelhart等人的PDP报告显示出神经网络的巨大潜力，使得该领域的研究从停滞期进入了繁荣期，这是神经网络发展史上的第二个转折。 3. 复兴期 1982年，美国物理学家Hopfield对神经网络的动态特性进行了研究，提出了Hopfield神经网络模型，引入能量函数，实现问题优化求解 1986年，以Rumelhart为首的PDP(Parallel Distributed Processing)并行分布处理研究集团对联结机制(connectionist)进行了研究，提出了著名的多层神经网络模型，即BP网络，至今为止应用最普遍。 T．J．Sejnowski等人还研究了神经网络语音信息处理装置。 这些成功的研究对第二次神经网络研究高潮的形成起了决定性的作用。 Hopfield模型的动作原理是： 只要由神经元兴奋的算法和神经元之间的结合强度所决定的神经网络的状态在适当给定的兴奋模式下尚未达到稳定，那么该状态就会一直变化下去，直到预先定义的一个必定减小的能量函数达到极小值时，状态才达到稳定而不再变化。 1985年，Hopfield和D．W．Tank用上述模型求解了古典的旅行推销商问题(Traveling Salesman Problem)，简称TSP问题。 1983年，S．E．Farmann和Hiton提出了波尔兹曼机BM(Boltzmann Machine)，该神经网络模型中使用了概率动作的神经元，把神经元的输出函数与统计力学中的波尔兹曼分布联系起来。 1985年，W．O．Hillis发表了称为联结机(connection)的超级并行计算机。他把65536个lbit的微处理机排列成起立方体的互连形式，每个微处理机还带有4kbit的存贮器。 误差反向传播神经网络BP(Error Back Propagation Neural Network)是1986年由Rumelhart和Hinton提出的， 4.新连接机制时期（1986年-） 神经网络从理论——应用（神经网络芯片、神经计算机） 模式识别与图象处理、控制与优化、预测与管理、通信领域 并行分布处理理论 1986年，Rumelhart和McClelland发表了《并行分布处理——认知微结构探索》一书。（Parallel Distributed Processing） 系统地总结了PDP的概念、理论、数学方法、产生的背景和发展前景。著名的BP神经网络学习法则就是在本书中由Rumelhart提出的。 到了20世纪90年代中后期，随着研究者们对神经网络的局限有了更清楚的认识，以及支持向量机等似乎更有前途的方法的出现，“神经网络”这个词不再象前些年那么“火爆”了。很多人认为神经网络的研究又开始陷入了低潮，并认为支持向量机将取代神经网络。 神经网络的研究概况 神经网络的研究主要可分为以下三个方面： 1．大脑和神经系统的信息处理