第15讲 基于人工神经网络的模式识别.pptVIP

第18讲 基于神经网络的模式识别 要点： 神经网络的参考书 神经网络的几种别名 神经网络的发展历史 神经网络的基本模型 神经网络的其它模型 神经网络在模式识别中的应用 神经网络的参考书 Simon Haykin著，《神经网络原理》，叶世伟、史忠植译，机械工业出版社，2004年1月 蒋宗礼,《人工神经网络导论》,高等教育出版社, 2001年8月 杨行峻、郑君里，《人工神经网络》，高等教育出版社，1992年9月 返回 神经网络的几种别名 人工神经网络(Artificial Neural Networks) 自适应网（Adaptive Networks） 联接模型（Connectionism） 神经计算机（Neurocomputer） 返回 神经网络的发展历史 神经网络的发展初期（20世纪40年代）） 神经网络的第一次高潮（1950~1968） 神经网络的反思期（ 1969~1982 ）及发展 神经网络的第二次高潮（1983~1990）及发展 神经网络的近期发展（1991~） 返回 神经网络的发展初期 1943年，心理学家McCulloch和数学家Pitts合作就曾提出形式神经元的数学模型(MP) 1944年，Hebb提出了改变神经元连接强度的Hebb规则 返回 神经网络的第一次高潮 1957年Rosenblatt首次引进感知器(perceptron)的概念 1962年，Widrow提出了自适应线性元件(Adaline) 在60代掀起了神经网络研究的第一次高潮。人们乐观地认为几乎已经找到了智能的关键。许多部门都开始大批地投入此项研究，希望尽快占领制高点。 返回 神经网络的反思期 1969年，美国著名人工智能专家Minsky和Papert出版《 Perceptron》一书，指出感知机的功能局限性，甚至连XOR(异或)这样的问题也不能解决。 60年代以来计算机的飞速发展和知识工程等方面的研究成果，使人们当时认为传统人工智能技术的潜力是无穷的，从而暂时掩盖了发展新型计算机和寻找新的人工智能途径的必要性和迫切性。 人们在认识上的局限性使神经网络的研究进入了低潮。 返回 神经网络在低潮时期的发展 一些学者扎扎实实地继续着神经网络模型和学习算法的基础理论研究，提出了许多有意义的理论和方法。其中，主要有自适应共振理论，自组织映射，认知机网络模型理论，BSB模型等等，为神经网络的发展奠定了理论基础。 返回 神经网络的第二次高潮 进入80年代，基于“知识库”的专家系统的研究和运用虽然取得了较大成功，但不像人们所希望的那样高明，特别是在处理视觉、听觉、形象思维、联想记忆以及运动控制等方面，传统的计算机和人工智能技术面临着重重困难。 模拟人脑的智能信息处理过程，如果仅靠串行逻辑和符号处理等传统的方法来解决复杂的问题，会产生计算量的组合爆炸。因此，具有并行分布处理模式的神经网络理论又重新受到人们的重视。对神经网络的研究又开始复兴，掀起了第二次研究高潮。 返回 神经网络在第二次高潮的发展 1982年，美国加州理工学院物理学家J．J．Hopfield提出了一种新的神经网络HNN。 1984年， J. Hopfield设计并研制成功Hopfield网的电路。较好地解决了著名的TSP问题，引起了较大的轰动。 1985年，UCSD的Hinton、Sejnowsky、Rumelhart等人所在的并行分布处理（PDP）小组的研究者在Hopfield网络中引入了随机机制，提出所谓的Boltzmann机。 1986年Rumelhart等人提出了多层神经网络模型的反向传播学习算法(BP算法)，解决了多层前向神经网络的学习问题。 （Paker1982和Werbos1974年） 返回 国内首届神经网络大会是1990年12月在北京举行的。 神经网络的近期发展 开发现有模型的应用，并在应用中根据实际运行情况对模型、算法加以改造，以提高网络的训练速度和运行的准确度。 希望在理论上寻找新的突破，建立新的专用/通用模型和算法。 进一步对生物神经系统进行研究，不断地丰富对人脑的认识。 返回 神经网络的基本模型 生物神经元网络简介 标准MP模型 简单感知器模型 多层感知器模型 返回 生物神经元网络简介 生物神经系统是一个有高度组织和相互作用的数量巨大的细胞组织群体。人类大脑的神经细胞大约在1011一1013个左右。神经细胞也称神经元，是神经系统的基本单元，它们按不同的结合方式构成了复杂的神经网络。通过神经元及其联接的可塑性，使得大脑具有学习、记忆和认知等各种智能。 返回 生物神经元示意图 返回 标准MP模型 MP模型属于一种阈值元件模型，它是由美国Mc Culloch和Pitts提出的最早神经元模型之一。MP模型是大多数神经网络模型的基础。 标准