神经网络-第一章幻灯片.pptVIP

神经网络原理 主讲老师：田传俊 1.概述 1.1 什么是人工神经网络 人脑是世界上已知的最复杂、最完善和最有效的信息处理系统。 计算机的不足： 因当代的计算机的形象智能较差，致使模拟人脑的神经网络技术得以发展，试图建立模仿人类大脑的计算机。 形象智能：记忆联想、语言理解、直觉推理、图象识别等。 人工神经网络：基于模仿生物大脑的结构和功能而构成的一种信息处理系统（计算机）或一种数学物理模型 。 1.1 什么是人工神经网络 大脑是由大量神经细胞或神经元组成的。每个神经元按某种方式连接起来，形成大脑内部的生理神经元网络。 神经元之间联结的强弱，按外部的激励信号做自适应变化，而每个神经元又随着这些接收信号的综合大小而呈现兴奋或抑制状态。 需要指出，尽管人工神经网络是对大脑结构的模仿，但这种模仿目前还处于极低的水平。 1.2 人工神经网络的发展 初始期— MP模型的提出和ANN的兴起 1943年，美国神经生理学家Warren Mcculloch和数学家Walter Pitts提出了一个简单的神经元模型，即MP模型，并预言大脑的所有活动最终将被解释清楚。虽然问题并非如此简单，但它给人们一个信念，即大脑的活动是靠脑细胞的组合连接实现的。 1949年，心理学家Donala Hebb提出脑细胞间的思路每当通过参与某种活动时将被加强，这就是后来的Hebb学习规则。目前有些神经网络模型仍然采用这种学习规则。 1.2 人工神经网络的发展 到了二十世纪50年代，随着计算机的发展，神经系统功能的理论开始在计算机上进行模拟，IBM的研究室在Hebb工作的基础上，对神经网络的模型进行了软件模拟，使得模型像人那样适应环境的实验上取得了一定程度的成功。 1956年，一个人工智能研究项目（Dartmouth Summer）给给神经计算领域以巨大推动。 1.2 人工神经网络的发展 第一次高潮期 — 感知器模型和ANN 1957年，计算机专家Frank Rosenblatt开始从事感知器的研究，并制成硬件，通常被认为是最早的神经网络模型。 1959年，两位电机工程师Bernard Widrow和Marcian Haff开发出一种叫作自适应线性单元的网络模型，并描述了它的学习算法（ Widrow- Haff算法）。该网络可以成功用于抵消通信中的回波和噪声，以及天气预报，成为第一个用于实际问题的神经网络。 这一时期，由于感知器的某些进展和对神经网络的宣传，许多部门开始大批地投入此项研究，形成了研究人工神经网络的第一次高潮。 1.2 人工神经网络的发展 反思期 —— 神经网络的低潮 1969年，Marvin Minsky和Seymour Papert分析了当时的简单感知器，指出它有非常严重的局限性，甚至不能解决简单的“异或”问题。此时，批评的声音高涨，不少研究人员把注意力转向了以编写程序或专家系统为特点的人工智能，导致对人工神经网络的研究陷入低潮。 虽然如此，二十世纪70年代到80年代早期，仍有一些坚信神经网络的人坚持他们的工作，为人工神经网络的复苏做准备。 1.2 人工神经网络的发展 第二次高潮 — Hopfield模型的出现和ANN的复苏 1982年，美国物理学家John Hopfield提出Hopfield模型。这是一个互联的非线性动力学网络他解决问题的方法是一种反复运算的动态过程,这是符号逻辑处理方法所不具备的性质. 1986年， Rumelhart等研究者重新独立地提出多层网络的学习算法—BP算法，较好地解决了多层网络的学习问题 1987年首届国际ANN大会在圣地亚哥召开，国际ANN联合会成立，创办了多种ANN国际刊物。 1990年12月，北京召开首届神经网络大会。 1.2 人工神经网络的发展 再认识与应用研究期 二十世纪90年代后，神经网络研究趋于平缓，主要问题： 应用面还不够宽；结果不够精确；存在可信度问题 主要研究内容 开发现有模型的应用，并对模型、算法加以改造，以提高网络的训练速度和运行的准确度。 希望在理论上寻找新的突破，建立新的专用或通用模型和算法。 进一步对生物神经系统进行研究，不断丰富对人脑的认识。 1.3 人工神经网络的特点 固有的并行结构和并行处理 知识的分布存储 联想记忆功能 容错性 高度的非线性全局作用 1.3 人工神经网络的特点 人工神经网络的局限性 ANN不适于高精度的计算 ANN不适于做类似顺序计数的工作。 人工神经网络是以并行方式工作的。 ANN的学习和训练往往是一个艰难的过程。 网络的设计没有严格确定的方法，所以选择训练方法和所需网络结构没有统一标准。 脱机训练往往需要很长时间，为了获得最佳效果，常常要重复试验多次。 网络收敛性的问题。 1.3 人工神经