现代优化方 法经典教程.pptVIP

现代优化方法;计算复杂性与传统算法的局限 旅行商问题： 一个商人欲到n个城市推销商品，每两个城市i和j之间的距离为dij，如何选择一条道路使得商人每个城市走一遍后回到起点且所走路径最短。 对称距离 非对称距离;采用枚举法来解决非对称旅行商问题 假定有n个城市，共需要(n-1)!次枚举，假定完成25个城市的总距离的计算及比较需要1秒，则当城市增加时，需要的时间如下表所示：;智能的含义 智能是个体有目的的行为，合理的思维，以及有效的、适应环境的综合能力。 智能是个体认识客观事物和运用知识解决问题的能力。 人类个体的智能是一种综合能力。;人工智能：研究如何使类似计算机这样的设备去模拟人类的这些能力。 研究人工智能的目的 增加人类探索世界，推动社会前进的能力 进一步认识自己;联接主义观点 核心：智能的本质是联接机制。 神经网络??一个由大量简单的处理单元组成的高度复杂的大规模非线性自适应系统 ANN力求从四个方面去模拟人脑的智能行为 物理结构 计算模拟 存储与操作 训练;物理符号系统和人工神经网络系统的差别;两种人工智能技术的比较;信息的分布表示 运算的全局并行和局部操作 处理的非线性;人工神经网络可以根据所在的环境去改变它的行为 自相联的网络 异相联的网络：它在接受样本集合A时，可以抽取集合A中输入数据与输出数据之间的映射关系。——“抽象”功能。 不同的人工神经网络模型，有不同的学习/训练算法;基本特征的自动提取 由于其运算的不精确性，表现成“去噪音、容残缺”的能力，利用这种不精确性，比较自然地实现模式的自动分类。 泛化（Generalization）能力与抽象能力;信息的分布存提供容错功能 由于信息被分布存放在几乎整个网络中，所以，当其中的某一个点或者某几个点被破坏时，信息仍然可以被存取。 系统在受到局部损伤时还可以正常工作。 并不是说可以任意地对完成学习的网络进行修改。也正是由于信息的分布存放，对一类网来说，当它完成学习后，如果再让它学习新的东西，这时就会破坏原来已学会的东西。;擅长两个方面： 对大量的数据进行分类，并且只有较少的几种情况； 必须学习一个复杂的非线性映射。 目前应用： 人们主要将其用于语音、视觉、知识处理、辅助决策等方面。 在数据压缩、模式匹配、系统建模、模糊控制、求组合优化问题的最佳解的近似解（不是最佳近似解）等方面也有较好的应用。。;萌芽期（20世纪40年代） 人工神经网络的研究最早可以追溯到人类开始研究自己的智能的时期，到1949年止。 1943年，心理学家McCulloch和数学家Pitts建立起了著名的阈值加权和模型，简称为M-P模型。发表于数学生物物理学会刊《Bulletin of Mathematical Biophysics》 1949年，心理学家D. O.Hebb提出神经元之间突触联系是可变的假说——Hebb学习律。;第一高潮期（1950~1968） 以Marvin Minsky，Frank Rosenblatt，BernardWidrow等为代表人物，代表作是单级感知器（Perceptron）。 可用电子线路模拟。 人们乐观地认为几乎已经找到了智能的关键。许多部门都开始大批地投入此项研究，希望尽快占领制高点。;反思期（1969~1982） M. L.Minsky和S.Papert，《Perceptron》，MIT Press，1969年 异或”运算不可表示 二十世纪70年代和80年代早期的研究结果 认识规律：认识—实践—再认识;第二高潮期（1983~1990） 1982年，J.Hopfield提出循环网络 用Lyapunov函数作为网络性能判定的能量函数，建立ANN稳定性的判别依据 阐明了ANN与动力学的关系 用非线性动力学的方法来研究ANN的特性 指出信息被存放在网络中神经元的联接上 1984年，J.Hopfield设计研制了后来被人们称为Hopfield网的电路。较好地解决了著名的TSP问题，找到了最佳解的近似解，引起了较大的轰动。;第二高潮期（1983~1990） 1985年，UCSD的Hinton、Sejnowsky、Rumelhart等人所在的并行分布处理（PDP）小组的研究者在Hopfield网络中引入了随机机制，提出所谓的Boltzmann机。 1986年，并行分布处理小组的Rumelhart等研究者重新独立地提出多层网络的学习算法——BP算法，较好地解决了多层网络的学习问题。;再认识与应用研究期（1991~） 问题： 应用面还不够宽 结果不够精确 存在可信度的问题。;人的思维由脑完成 人脑约由1011～1012个神经元组成，每个神经元约与104～105个神经元联接，能接受并处理信息。因此，人脑是复杂的信息并行加工处理巨系统。 人脑可通过自组织、自学习，不断适应外界环境的变化。其