第二章优化设计理论基础.pptVIP

实用优化技术 第二章 优化设计理论基础 目录 第一节 极值理论 第一节 极值理论 第一节 极值理论 第一节 极值理论 第一节 极值理论 第一节 极值理论 第一节 极值理论 第一节 极值理论 第一节 极值理论 第一节 极值理论 第一节 极值理论 第一节 极值理论 第一节 极值理论 第一节 极值理论 第二节 向量与矩阵 第二节 向量与矩阵 第二节 向量与矩阵 第三节 正定二次函数和泰勒函数 第三节 正定二次函数和泰勒函数 第三节 正定二次函数和泰勒函数 第三节 正定二次函数和泰勒函数 第三节 正定二次函数和泰勒函数 第三节 正定二次函数和泰勒函数 第三节 正定二次函数和泰勒函数 第三节 正定二次函数和泰勒函数 第三节 正定二次函数和泰勒函数 第四节 共轭方法 第四节 共轭方法 第四节 共轭方法 第四节 共轭方法 第四节 共轭方法 第四节 共轭方法 第四节 共轭方法 第四节 共轭方法 第四节 共轭方法 第四节 共轭方法 第五节 拉格朗日乘子 第五节 拉格朗日乘子 第五节 拉格朗日乘子 第五节 拉格朗日乘子 第五节 拉格朗日乘子 约束问题的极值条件 例 用k-t条件判断点 是否为以下问题的最优点： 解：因 得知，点 的起作用约束是 和 。 约束问题的极值条件 在点 有 将以上各梯度值代人k-t条件式 有： 解得， 均大于零，满足k-t条件，说明 就是所给约束最优化问题的最优点。 由线性代数知， 个有序的数 所组成的数组称为 维向量。 维向量写成一列时称为列向量，记作 ；写成一行时称为行向量，记作 。如: 个有序的数 排成的 行 列的数表称为 行 列矩阵，可表示为: 向量和向量、矩阵和矩阵之间可以进行各种运算，除简单的加减法和数乘运算外，还可进行一般的乘法运算。设 则有: 二次函数是最简单的非线性函数，在最优化理论中具有重要的意义。根据函数的泰勒二次展开式，可以把一般的二次函数写成以下向量形式： 正定二次函数 式中， 为常数向量，相当于函数的梯度； 为 阶常数矩阵，相当于函数的二阶导数矩阵。 称二次型， 称二次型矩阵。 矩阵有正定、负定和不定之分。对于任意非零向量 ： (1)若有 ，则称矩阵 是正定矩阵。 (2)若有 ，则称矩阵 是负定矩阵。 (3)若有时 ，有时 ，则称矩阵 是不定矩阵。 由线性代数可知，矩阵的正定性除了可以用上面的定义判断外，还可以用矩阵的各阶主子式进行判别。所谓矩阵的主子式，就是包含第一个元素在内的左上角各阶子矩阵所对应的行列式。 如果矩阵的各阶主子式的值均大于零，即 正定二次函数 一阶主子式 二阶主子式 三阶主子式 ................. 则矩阵 是正定的。 如果矩阵 的各阶主子式的值负正相间，即 正定二次函数 .............. 即奇数阶主子式小于零，偶数阶主子式大于零时， 矩阵负定，否则 不定。 正定二次函数具有以下性质： (1)正定二次函数的等值线(面)是一族同心椭圆(球)。椭圆(球)族的中心就是该二次函数的极小点，如图1所示。 (2)非正定二次函数在极小点附近的等值线(面)近似于椭圆(球)，如图2所示。 正定二次函数 图 1正定二元二次函数的等值线 图2 非正定二元二次函数的等值线 为了便于数学问题的分析和求解，往往需要将一个复杂的非线性函数简化成线性函数或二次函数，简化的方法一般采用泰勒展开。 由高等数学可知，一元函数 若在点 的邻域内 阶可导，则函数可在该点的邻域内作如下泰勒展开： 函数的泰勒展开 式中， 为余项。 多元函数 在点 处也可以作泰勒展开，展开式一般取三项，其形式与一元函数展开式的前三项相似，即： 上式称为函数 的泰勒二次近似式。其中， 是由函数在点 的所有二阶偏导数组成