第4章 无约束最优化方法.ppt

单变量优化方法 多变量优化方法 ;4.1 引言 约束最优化问题：具有辅助函数和形态约束条件的优 化问题。 无约束最优化问题：没有任何限制条件的优化问题。 工程实践中大多数问题都是具有约束的优化问题。 ; 但在优化方法的处理上可以将有约束优化问题转化为无约束最优化问题，然后按无约束方法进行处理。或者是将有约束优化部分转化为无约束优化问题，即在远离极值点和约束边界处按无约束来处理，当接近极值点和约束边界时，在按有约束的优化问题来处理。 因此无约束优化方法是优化方法的基本组成部分，也是优化设计中较常用的方法。;;迭代法主要解决两个问题： 如何选择一个最有利的搜索方向 使目标函数沿此方向快速下降，且计算简便。 在搜索方向既定的前提下，如何确定沿此方向迭代的最优步长;无约束最优化方法可以分为两类：直接法和间接法。 直接法又称数值方法，它只需计算目标函数诸点的函数数值，而不需求其导数，如坐标轮换法，单纯性法等。 间接法又称解析法，是应用数学极值理论和解析方法，首先计算出目标函数的一阶或一阶、二阶导数，然后根据梯度及海赛矩阵提供的信息，构造各种算法，从而间接地求出目标函数的最优解，如牛顿法、最速下降法、共轭梯度法及变尺度法。;在无约束优化问题中自变量（即设计变量）只有一个的求极值问题，称为单变量优化问题，也称一维搜索。它是无约束最优化方法的基础，有三种： 应用序列消去原理的直接迭代法，如分数法，黄金分割法； 利用多项式逼近的曲线拟合法，如二次差值和三次差值法等； 利用目标函数的一阶和二阶导数信息的间接寻优法，如切线法等。;1 黄金分割法（0.618法） 黄金分割法（0．618法）是一种应用序列消去原理的直接法。它不需求函数的导数，不要求函数连续，但除了要求函数存在极值外，还要求在极值左、右二边函数是严格减少（或增加）和增加（或减少）的，也就是说在搜索区间内函数为单峰函数。; 0.618法的基本思路 在给定的初始搜索区间，适当选择一些点，比较这些点上函数值的大小，逐步缩小搜索区间，最后取小区间???平均值近似地作为函数的极值点。;4.2 单变量函数的最优化方法;4.2 单变量函数的最优化方法;4.2 单变量函数的最优化方法;2 二次插值法 二次插值法是已知凸函数的三个点及对应的三个函数值，利用二次插值的方法，建立一条插值曲线。当三个点所在的区间被不断地缩小到某一小值时，插值曲线就可以很逼近这个小区间原函数曲线。这时插值曲线极小点就可以近似地作为原函数在这个小区间内的极小点。二次插值法也称为抛物线法。 插值的目的在于构造一个曲线方程。直线简单，但容易出现与原函数曲线过大偏差，因此一般采用二次或三次插值曲线来逼近原函数曲线。插值法比较适于原函数比较复杂的情形。;;;;3.搜索初始区间的确定;4.2 单变量函数的最优化方法; 上节讨论了只有一个自变量的无约束最优化方法，本节研究自变量为两个或两个以上的无约束极值问题，即多维问题。 无约束多变量函数的优化方法很多，只讨论解析法（间接法）的梯度法、牛顿法、变尺度法；数值方法的只讨论单纯形法。 ;1 梯度法 梯度法是求解无约束优化问题的一种最古老、最基本的方法，最早于1847年由著名数学家柯西（Cauchy）提出。 梯度法的基本思想是使函数沿它下降速度最快的方向前进，逐步走向最优点，因而又称最速下降法。;4.2 多变量函数的最优化方法;4.2 多变量函数的最优化方法;2 牛顿法 基本思路:一维情形相似，首先把高次函数近似的简化为一个二次函数，因为二次函数的极值点是比较容易求得的。二次函数的偏导数是线性的，所以只须解一组线性方程即可得极值点。 对二次函数只需经过一次迭代，而对高次函数，因为经过简化近似，所以应继续迭代，直到达到应有的精度为止。 ;4.2 多变量函数的最优化方法;4.2 多变量函数的最优化方法;4.2 多变量函数的最优化方法;3. 拟牛顿法;4.2 多变量函数的最优化方法;4.2 多变量函数的最优化方法;4.2 多变量函数的最优化方法;4.2 多变量函数的最优化方法;4.2 多变量函数的最优化方法;4.单纯形法 单纯形法与前面所述的不同，它不是沿某一方向进行搜索，而是对n维空间的n+1个点（它们构成一个单纯性的顶点）上的函数值进行比较，去掉其中最坏的点，代之以新的顶点，新的点与前面余下的点由构成一个新的单纯形。每次把坏的去掉，把好的留下来，这样逐渐调向最优点。 ;单纯形的不同形成方法，就形成了各种单纯形法。以 “正规单纯形法”为例加以说明。 所谓正规单纯形就是一个正四面体，如在平面上就是一个正三角形，在空间上就是一个正四面体，每一个面都是正三角形。在n维空间中正规单纯形是由n+1个顶点组成，其中任意两个顶点的距离都是相等的，而其去掉一