最优化方法复习.doc

7第1章 最优化问题的基本概念 §1.1最优化的概念 最优化就是依据最优化原理和方法，在满足相关要求的前提下，以尽可能高的效率求得工程问题最优解决方案的过程。 §1.2最优化问题的数学模型 1.最优化问题的一般形式 2.最优化问题的向量表达式 式中： 3.优化模型的三要素 设计变量、约束条件、目标函数称为优化设计的三要素！ 设计空间：由设计变量所确定的空间。设计空间中的每一个点都代表一个设计方案。 §1.3优化问题的分类 按照优化模型中三要素的不同表现形式，优化问题有多种分类方法： 1按照模型中是否存在约束条件，分为约束优化和无约束优化问题 2按照目标函数和约束条件的性质分为线性优化和非线性优化问题 3按照目标函数个数分为单目标优化和多目标优化问题 4按照设计变量的性质不同分为连续变量优化和离散变量优化问题 第2章 最优化问题的数学基础 §2.1 元函数的可微性与梯度 一、可微与梯度的定义 1.可微的定义 设是定义在维空间的子集上的元实值函数，且。若存在维向量，对于任意维向量，都有 则称在处可微。 2.梯度 设有函数，，在其定义域内连续可导。我们把在定义域内某点处的所有一阶偏导数构成的列向量，定义为在点处的梯度。记为： 梯度有3个性质： ⑴函数在某点的梯度方向为函数过该点的等值线的法线方向； ⑵函数值沿梯度方向增加最快，沿负梯度方向下降最快； ⑶梯度描述的只是函数某点邻域内的局部信息。 §2.2极小点及其判别条件 一、相关概念 1.极小点与最优解 设是定义在维空间的子集上的元实值函数，若存在及实数，使得都有，则称为的局部极小点；若，则称为的严格局部极小点。 若，都有，则称为的全局极小点，若，则称为的全局严格极小点。 对最优化问题而言 满足所有约束条件的向量称为上述最优化问题的一个可行解，全体可行解组成的集合称为可行解集。在可行解集中，满足： 的解称为优化问题的最优解。 2.凸集和凸函数 凸集：设，若对所有的，及，都有，则称为凸集。 凸函数：设，是凸集，如果对于所有的，及，都有，则称为上的凸函数。 二、局部极小点的判别条件 驻点：设是定义在维空间的子集上的元实值函数，是的内点，若，则称为的驻点。 局部极小点的判别：设是定义在维空间的子集上的元实值函数，具有连续的二阶偏导数。若是的驻点，且是正定矩阵，则是的严格局部极小点。 第3章 无约束优化方法 §3.1下降迭代算法及终止准则 一、数值优化方法的基本思想 基本思想就是在设计空间内选定一个初始点，从该点出发，按照某一方向（该方向的确定原则是使函数值下降）前进一定的步长，得到一个使目标函数值有所下降的新设计点，然后以该点为新的初始点，重复上面过程，直至得到满足精度要求的最优点。 该思想可用下式表示： 二、迭代计算的终止准则 工程中常用的迭代终止准则有3种： ⑴点距准则 相邻两次迭代点之间的距离充分小时，迭代终止。 数学表达为： ⑵函数下降量准则（值差准则） 相邻两次迭代点的函数值之差充分小，迭代终止。 数学表达为： ⑶梯度准则 目标函数在迭代点处的梯度模充分小时，迭代终止。 数学表达为： 三、算法的收敛速度 对于某一确定的下降算法，其优劣如何评价？人们通常采用收敛速度来评价。 下面给出度量收敛速度的几个概念。 1.阶收敛 设序列收敛于解，若存在常数及、，使当时下式： 成立，则称为阶收敛。 2.线性收敛 设序列收敛于解，若存在常数、及，使当时下式： 成立，则称为线性收敛。 3.超线性收敛 设序列收敛于解，若任给都存在，使当时下式： 成立，则称为超线性收敛。 §3.2一维最优化方法 一、确定初始区间的进退法 任选一个初始点和初始步长，由此可确定两点和，通过比较这两点函数值、的大小，来决定第三点的位置。比较这三点函数值是否呈“高——低——高”排列特征，若是则找到了单峰区间，否则向前或后退继续寻求下一点。 进退法依据的基本公式： 具体步骤为： ⑴任意选取初始点和恰当的初始步长； ⑵令，取，计算、； ⑶若，说明极小点在右侧，应加大步长向前搜索。转⑷； 若，说明极小点在左侧，应以点为基准反向小步搜索。转⑹； ⑷大步向前搜索：令，取，计算； ⑸若，则、、呈“高——低——高”排列，说明即为所求的单峰区间； 若，说明极小点在右侧，应加大步长向前搜索。此时要注意做变换：舍弃原点，以原点为新的点，原点为新的点。转⑷，直至出现“高——低——高”排列，则单峰区间可得； ⑹反向小步搜索（要注意做变换）：为了保证点计算公式的一致性，做变换：将原点记为新点，原点记为新点，令，取，转⑸ 例：用进退法确定函数的单峰区间[a，b]，设初始点，。 解：① ② ③ 说明极小点在点