智能优化算法_数学建模_王成章_人工神经网络资料.ppt

智 能 优 化 算 法 前言 所谓人工神经网络就是基于模仿生物大脑的结构和功能而构成的一种信息处理系统。 人是地球上具有最高智慧的动物，而人的指挥均来自大脑，人类靠大脑进行思考、联想、记忆和推理判断等，这些功能是任何被称为“电脑”的一般计算机所无法取代的。 长期以来，许多科学家一直致力于人脑内部结构和功能的探讨和研究，并试图建立模仿人类大脑的计算机，虽然到目前对大脑的内部工作机理还不甚完全清楚，但对其结构已有所了解。 前言(C.) 粗略地讲，大脑是由大量神经细胞或神经元组成的。每个神经元可看作是一个小的处理单元，这些神经元按某种方式连接起来，形成大脑内部的生理神经元网络。 这种神经元网络中各神经元之间联结的强弱，按外部的激励信号做自适应变化，而每个神经元又随着所接收到的多个接收信号的综合大小而呈现兴奋或抑制状态。 现已明确大脑的学习过程就是神经元之间连接强度随外部激励信息做自适应变化的过程，而大脑处理信息的结果则由神经元的状态表现出来。 前言(C.) 人工神经网络是根据人的认识过程而开发出的一种算法。 假如我们现在只有一些输入和相应的输出，而对如何由输入得到输出的机理并不清楚，那么我们可以把输入与输出之间的未知过程看成是一个“网络”，通过不断地给这个网络输入和相应的输出来“训练”这个网络，网络根据输入和输出不断地调节自己的各节点之间的权值来满足输入和输出。这样，当训练结束后，我们给定一个输入，网络便会根据自己已调节好的权值计算出一个输出。这就是神经网络的简单原理。 前言(C.e) 由于我们建立的信息处理系统实际上是模仿生理神经网络，因此称它为人工神经网络。 需要指出的是，尽管人工神经网络是对大脑结构的模仿，但这种模仿目前还处于较低的水平。 人工神经网络的定义 定义方式有多种： Hecht—Nielsen（1988年） Simpson（1987年）：人工神经网络是一个非线性的有向图，图中含有可以通过改变权大小来存放模式的加权边，并且可以从不完整的或未知的输入找到模式。 别名 人工神经系统（ANS） 神经网络（NN） 自适应系统（Adaptive Systems）、自适应网（Adaptive Networks） 联接模型（Connectionism） 神经计算机（Neurocomputer） 人工神经网络的发展 初始期（20世纪40年代）： 1943年，心理学家McCulloch和数学家Pitts建立起了著名的阈值加权和模型，简称为M-P模型。发表于数学生物物理学会刊《Bulletin of Methematical Biophysics》。 1949年，心理学家D. O. Hebb提出神经元之间突触联系是可变的假说——Hebb学习律。 人工神经网络的发展(C.) 第一高潮期（1950~1968） ： 以Marvin Minsky，Frank Rosenblatt，Bernard Widrow等为代表人物，代表作是单级感知器（Perceptron）。 可用电子线路模拟。 人们乐观地认为几乎已经找到了智能的关键。许多部门都开始大批地投入此项研究，希望尽快占领制高点。 人工神经网络的发展(C.) 反思期（1969~1982） ： M. L. Minsky和S. Papert，《Perceptron》，MIT Press，1969年。 书中指出：简单的感知器存在非常严重的局限性，甚至不能解决简单的“异或”问题。 批评的声音高涨，不少研究人员把注意力转向了人工智能，导致对人工神经网络的研究陷入低潮。 人工神经网络的发展(C.) 第二高潮期（1983~1990） ： 1982年，J. Hopfield提出循环网络 用Lyapunov函数作为网络性能判定的能量函数，建立ANN稳定性的判别依据 阐明了ANN与动力学的关系 用非线性动力学的方法来研究ANN的特性 指出信息被存放在网络中神经元的联接上 人工神经网络的发展(C.) 第二高潮期（1983~1990） ： 1984年， J. Hopfield设计研制了后来被人们称为Hopfield网的电路。较好地解决了著名的TSP问题，找到了最佳解的近似解，引起了较大的轰动。 1985年，UCSD的Hinton、Sejnowsky、Rumelhart等人所在的并行分布处理（PDP）小组的研究者在Hopfield网络中引入了随机机制，提出所谓的Boltzmann机。 1986年，并行分布处理小组的Rumelhart等研究者重新独立地提出多层网络的学习算法——BP算法，较好地解决了多层网络的学习问题。 国内首届神经网络大会是1990年12月在北京举行。 人工神经网络的发展(C.e) 再认识与应用研究期（19