最优化概述.docVIP

一.引言 最优化理论与算法是一个重要的数学分支,又称数学规划,它所研究的是讨论在解决问题的众多方案中什么样的方案最优,以及怎样找出最优方案.其中寻找最优方案的方法叫最优化方法（算法）,这种方法的数学理论即为最优化理论. 它在生活中的应用随处可见.比如,在网上买东西,人们会在各家店中进行性价比的比较,以及根据店家的优惠方法选择最实惠的购选方式;人们出门选择最优的交通工具;还有饮食搭配等等,这些都是一些常见及简单问题的选择.但对于相对复杂的设计问题最优方案的选择.我们首先要把设计问题转化为数学模型,即用数学表达式描述设计问题;然后,按照数学模型的特点选择优化设计方法及其计算程序,运用计算机求解最优解,即最优设计方案.对较复杂的问题进行优化设计,本质上是根据优化设计理论,采用优化设计算法,运用计算机高质量高速度的完成设计任务.所以,这就对优化设计的理论及算法提出了很多的要求. 目前,对于最优化理论大致分为无约束最优化及有约束最优化问题两大类.而对于它们的解,我们多数情况下得到的都是局部最优解,而对于求解具有全局收敛性的全局最优解的方法尚不完善,还有待进一步探讨. 其中,对于无约束最优化问题的求解方法有:线性搜索方法、最速下降法、Newton法、拟Newton法、共轭梯度法、信赖域算法、直接法.而对于约束最优化问题的求解方法有:单纯形法、有效集法、罚函数法、乘子法、可行方向法、序列二次规划算法. 在本文中,主要介绍了共轭梯度法、信赖域算法、Powell直接法、乘子法、zoutendijk可行方向法的具体算法及一些其他优化算法的区别.最后,对优化算法的前景提出了展望. 二.最优化问题的求解方法 1.无约束最优化问题 对于无约束最优化问题的求解方法的主导思想是下降算法,而它的基本思想是从某个初始点出发,按照使目标函数值下降的原则构造点列,最终求得问题的最优解. 下降算法的一般步骤: 步一: 给定初始点,精度.令. 步二: 若,则终止算法,得解.否则，转步三. 步三: 确定下降方向,使得. 步四: 确定步长,使得. 步五: 令,,转步二. 1.1 下降算法中步长与下降方向依次进行 1.1.1线性搜索方法 线性搜索方法又分为精确线性搜索与非精确线性搜索.它主要解决的问题是下降算法所涉及到的步长的确定问题. 精确线性搜索的最简单的方法就是黄金分割法（0.618法）.它主要适用于求解一元单峰函数的极小值问题.其基本思想是构造闭区间序列,满足,且区间的长度按比例缩小.从而最终使得 ,由此可得 . 黄金分割法步骤: 步0: 确定包含极小值点的初始单峰区间,精度.令.取.令 步1: 若,则得.停止计算. 步2: 若,则令令转步0. 步3: 若,则令 . 计算转步1. 步4: 若,则令 . 计算.转步1. 非精确线性搜索的最简单的方法有Armijo型线性搜索与Wolf-Powell型线性搜索.它们与精确线性搜索的区别在于,精确线性搜索要求步长取到一元函数的最小值,计算量较大.而它们只需步长使得一元函数在与步长值相同的点处的函数值较初始点的函数值有一定的下降量即可.其中Wolf-Powell型线性搜索是对Armijo型线性搜索中由于试探步的大小不确定问题所带来缺陷的进一步完善. 1.1.2下降方向的确定方法及差异 在用线性搜索方法确定了下降算法中的下降量即步长后,可根据最速下降法、Newton法、拟牛顿法 、共轭梯度法的具体步骤确定下降方向并最终求得问题的解. 最速下降法是将负梯度方向即作为下降方向,Newton法的下降方向是,拟牛顿法只是用去代替Newton法中的以保证方向的下降性.共轭梯度法应用的是共轭方向.下降方向确定后就可根据线性搜索确定的步长及下降算法的基本步骤求解问题. 在这些求解方法中,最大的不同就在于下降方向的确定上,其次在于算法的收敛快慢.最速下降法在求解二次函数极小值时具有线性收敛速度且具有较少的存储量,而牛顿法在求解问题时具有二次收敛性,但该算法要求对所有的k,正定.否则,就不能确保它所确定的方向是下降方向.对此问题,修正牛顿法对其进行了改善,用矩阵代替牛顿法中的进行问题的求解.对于牛顿法中存在的问题,修正牛顿法虽然克服了,但它又引入了新的问题,即当参数过小时,仍不能保证下降方向的正确性,当过大时又会影响收敛速度.而且不管是牛顿法还是修正牛顿法都需计算目标函数的二阶导.对于它们所存在的问题,拟牛顿法都可克服,且具有较快的收敛速度-超线性收敛速度.其基本思想是:在牛顿法的子问题中用的某个近似矩阵取代.其中近似矩阵应具有如下三个特点:（1）在某种意义下,使相应的算法产生的方向是牛顿方