最优化方法第二次.pptVIP

第二次自学、讨论内容 1. 极值点的一阶必要条件、二阶充分条件及其几何意义。 2. 最优化为何不用直接法，而常采用迭代法？ 3. 迭代法的基本思想及迭代法的四个关键问题。 4. 下降算法的基本思想与迭代格式。 5. 下降算法中最关键的问题是什么？ 6. 如何理解迭代法的停止准则或最优性条件？在编程时如何具体实现？ 7. 迭代方向 满足什么条件时， 才是下降方向？试证明你的结论。 (提示:可用Taylor展式) 二、最优化的基本概念 1. 优化问题的一般形式 最优化问题的数学模型为 称为决策变量， 称为目标函数， 称为约束条件。 满足约束条件的解称为可行解，否则称为不可行解；可行解的集合称为可行集。能 使目标函数达到最优值的可行解称为(全局) 最优解，能使目标函数达到局部最优值的可行解称为局部最优解。对大多数优化问题，求全局最优解是很困难的，所以很多优化软件往往只能求到局部最优解。 2. 优化问题的基本类型 优化问题可以从不同的角度进行分类。 不包含约束条件的最优化问题称为 “ 无约束优化”，否则称为 “约束优化”。 通常，人们按照可行集的性质对优化问题分类：若可行集中的元素是离散的，则称之为“组合优化”或“离散优化”，如整数规划、0-1规划等。若可行集是有限维空间中的一个连续子集，则称之为“数学规划”；此时，若目标函数和约束函数均为线性，则称之为“线性规划”，否则称之为“非线性规划”。如果可行集中的元素是依赖时间的决策序列，则归结为“动态规划”。如果可行集是无穷维空间 中的连续子集，则归结为“最优控制”。 此外，根据决策变量是否具有不确定性,可以把优化问题分成确定性规划、不确定性规划（如随机规划、模糊规划等）。根据需要优化目标的数目，可以把优化问题分成单目标优化、多目标优化。 线性规划与非线性规划是最优化方法中最基本、最重要的两类问题。 一般来说，各优化分支有其相应的应用领域。线性规划、网络规划、动态规划通常用于管理与决策科学；最优控制往往用于控制工程；非线性规划更多地用于工程优化设计。 3. 最优性条件 由微积分知识可得出下列最优性条件： 定理1.3（一阶必要条件） 设 可微，若 为 的一个极小点，则 。 ①本定理的几何意义是，函数在 处取极小值的必要条件是该函数曲面在 处的切平面是水平的； ②梯度为零的点可能是极小或极大点，也可能是鞍点即既非极小也非极大的点。 定理1.4（二阶充分条件） 设 二阶连续可微，若 ，且 处的二阶导数矩阵 正定，则 为极小点。 本定理的几何意义是， 为极小点的充分条件是函数曲面在 处有水平切平面且向上弯曲。 定理1.5（凸函数的最优性条件） 设 为二阶可微的凸函数，且 , 则 为全局极小点。 4. 算法结构 根据最优条件，从理论上讲，可以先解非线性方程组 ，然后再判定其解的二阶导数矩阵 是否正定，即可求出函数的最优解。但由于解非线性方程组和判定矩阵是否正定是极为复杂和困难的，其难度甚至已超过优化问题本身。因此，上述想法在实际上是不可行的。 求解最优化问题常用的方法是迭代法。 迭代法的基本思想是：从最优点的一个初始值 出发，按一定迭代法则产生点序列 ，使目标函数值 逐步减小。当 是有限点列时，其最后一点即为最优解；当 是无穷点列时，其极限点即为最优解。 对于迭代法有下列四个问题： ①如何由 产生 ，即迭代格式或算法结构； ②迭代何时中止，即停止准则或最优性条件； ③迭代产生的序列是否收敛于最优解 ，即收敛性问题； ④收敛算法的收敛速