现代优化方法.pptVIP

现代优化方法;概述 人工神经网络(Artificial Neural Network) 遗传算法 禁忌搜索算法 模拟退火算法 蚁路算法;现代优化方法包括人工神经网络、遗传算法、禁忌搜索算法、模拟退火算法、蚁路算法等； 这些算法是根据一些直观基础而构建的，我们把它称之为启发式算法，有人称现代优化算法主要指仿生算法； 牵涉到的学科广泛 生物进化、人工智能、数学和物理、神经系统和统计力学等。 这些算法和人工智能、计算机科学和运筹学相融合。 ;计算复杂性与传统算法的局限 旅行商问题： 一个商人欲到n个城市推销商品，每两个城市i和j之间的距离为dij，如何选择一条道路使得商人每个城市走一遍后回到起点且所走路径最短。 对称距离 非对称距离;采用枚举法来解决非对称旅行商问题 假定有n个城市，共需要(n-1)!次枚举，假定完成25个城市的总距离的计算及比较需要1秒，则当城市增加时，需要的时间如下表所示：;人类对人工智能的研究可以分成两种方式对应着两种不同的技术： 传统的人工智能技术—心理的角度模拟 基于人工神经网络的技术—生理的角度模拟 人工神经网络的定义 是由人工神经元互联组成的网络，从微观结构和功能上对人脑的抽象、简化，是模拟人类智能的一条重要途径。 反映了人脑功能的若干基本特征，如，并行信息处理、学习、联想、模式分类、记忆等。 简单地讲，它是一个数学模型，可以用电子线路来实现，也可以用计算机程序来模拟，是人工智能研究的一种方法。;智能的含义 智能是个体有目的的行为，合理的思维，以及有效的、适应环境的综合能力。 智能是个体认识客观事物和运用知识解决问题的能力。 人类个体的智能是一种综合能力。;智能的概念的八个方面 ;人工智能：研究如何使类似计算机这样的设备去模拟人类的这些能力。 研究人工智能的目的 增加人类探索世界，推动社会前进的能力 进一步认识自己;联接主义观点 核心：智能的本质是联接机制。 神经网络是一个由大量简单的处理单元组成的高度复杂的大规模非线性自适应系统 ANN力求从四个方面去模拟人脑的智能行为 物理结构 计算模拟 存储与操作 训练;物理符号系??和人工神经网络系统的差别;两种人工智能技术的比较;信息的分布表示 运算的全局并行和局部操作 处理的非线性;人工神经网络可以根据所在的环境去改变它的行为 自相联的网络 异相联的网络：它在接受样本集合A时，可以抽取集合A中输入数据与输出数据之间的映射关系。——“抽象”功能。 不同的人工神经网络模型，有不同的学习/训练算法;基本特征的自动提取 由于其运算的不精确性，表现成“去噪音、容残缺”的能力，利用这种不精确性，比较自然地实现模式的自动分类。 泛化（Generalization）能力与抽象能力;信息的分布存提供容错功能 由于信息被分布存放在几乎整个网络中，所以，当其中的某一个点或者某几个点被破坏时，信息仍然可以被存取。 系统在受到局部损伤时还可以正常工作。 并不是说可以任意地对完成学习的网络进行修改。也正是由于信息的分布存放，对一类网来说，当它完成学习后，如果再让它学习新的东西，这时就会破坏原来已学会的东西。;擅长两个方面： 对大量的数据进行分类，并且只有较少的几种情况； 必须学习一个复杂的非线性映射。 目前应用： 人们主要将其用于语音、视觉、知识处理、辅助决策等方面。 在数据压缩、模式匹配、系统建模、模糊控制、求组合优化问题的最佳解的近似解（不是最佳近似解）等方面也有较好的应用。。;萌芽期（20世纪40年代） 人工神经网络的研究最早可以追溯到人类开始研究自己的智能的时期，到1949年止。 1943年，心理学家McCulloch和数学家Pitts建立起了著名的阈值加权和模型，简称为M-P模型。发表于数学生物物理学会刊《Bulletin of Mathematical Biophysics》 1949年，心理学家D. O.Hebb提出神经元之间突触联系是可变的假说——Hebb学习律。;第一高潮期（1950~1968） 以Marvin Minsky，Frank Rosenblatt，BernardWidrow等为代表人物，代表作是单级感知器（Perceptron）。 可用电子线路模拟。 人们乐观地认为几乎已经找到了智能的关键。许多部门都开始大批地投入此项研究，希望尽快占领制高点。;反思期（1969~1982） M. L.Minsky和S.Papert，《Perceptron》，MIT Press，1969年 异或”运算不可表示 二十世纪70年代和80年代早期的研究结果 认识规律：认识—实践—再认识;第二高潮期（1983~1990） 1982年，J.Hopfield提出循环网络 用Lyapunov函数作为网络性能判定的能量函数，建立ANN稳定性的判别依据 阐明了ANN与动力学的关系 用非线性动