2-2优化方法数学基础.pptVIP

§2 优化方法数学基础 优化设计——极值 多变量、多约束非线性优化 一、正定二次型 二次型矩阵H正定——正定二次函数。 正定二次函数性质： ① 正定二次函数的等值线或等值面是一族同心椭圆(或同心椭球)。椭圆族或椭球族的中心是极小点。 ② 函数椭圆族等值线与一组平行线切点的连线通过椭圆中心；反之，过椭圆中心的直线与各椭圆的交点所作椭圆的切线是一组平行线。 二、方向导数和梯度 1．方向导数 导数是描述函数变化率的数学量。 微分理论知，一元函数在点xk的一阶导数表示函数在该点的变化率。 函数梯度性质 (3) 各点函数梯度不同。 梯度大小就是梯度的模长。 (4) 梯度是函数在一点邻域内局部性态的描述。 (5) 极值点处梯度为零 ?梯度为零不一定是极值点。 五、数值迭代算法 最优化方法基本思想 消去法和爬山法 消去法——处理单变量函数极值问题时有效 对于多维函数，消去的不是线段，而是平面(两变量函数)、立体(三变量函数)或多维空间的一部分，使求解问题变得复杂 爬山法——上山或下山 极大值——上升算法；极小值——下将算法 ——每前进一步，函数值有所改善，同时为下一步移动方向提供有用信息——数值迭代算法基本思想。 五、数值迭代算法 按照某一迭代格式，从一个初始点X(0)出发逐步产生一个点列 X(0)， X(1)，…， X(k)， X(k+1)，… 点列所对应的目标函数值呈下降趋势，构成此点列的方法就是下降迭代算法。 1．下降迭代算法基本格式 下降迭代算法的构成需要解决基本问题： ① 选择搜索方向 不同的搜索方向，构成不同的下降迭代算法； ② 确定步长因子 一般通过一维搜索法取得最优步长因子； ③ 给定收敛准则 用以判断迭代点是否能够作为近似的最优点。 3．算法的收敛性 算法的收敛性也可以根据算法对二次函数的求解能力加以判断。 对于正定二次函数，如果算法能在有限次迭代中得到极小点，称此算法具有二阶收敛性。 解题所需迭代计算过程的长短，主要取决于： ①问题的性态； ②所用的优化方法； ③终止准则和收敛精度。 从工程实际出发，采用适当终止准则和收敛精度 * * 高等数学极值理论是求解基础，但是不能直接求出最优解。 对多变量约束优化问题的求解方法所涉及的数学概念及有关理论进行补充和扩展。 介绍二次函数、多元函数的梯度、函数的近似表示以及极值条件和数值迭代解法等基本概念。 一、正定二次型 二次函数 XTHX二次型，H二次型矩阵 正定和负定矩阵。对于所有非零向量 XTHX 0，矩阵正定 XTHX =0，矩阵半正定 XTHX 0，矩阵负定 XTHX =0，矩阵半负定 XTHX =0，矩阵不定 写成向量形式 一、正定二次型 线性代数可知，矩阵H的正定性除用定义判断外，还可以用矩阵的各阶主子式进行判别 主子式——包含第一个元素在内的左上角各阶子矩阵所对应的行列式。 奇数阶主子式0，偶数阶主子式0，矩阵H负定。 矩阵H正定 如果矩阵的各阶主子式均大于零，即n阶主子式 非正定二次函数在极小点附近的等值线或等值面近似于椭圆或椭球。 求极值时，近似按二次函数处理，即用二次函数的极小点近似函数的极小点，反复进行，逐渐逼近函数的极小点。 一、正定二次型 二元函数在某点沿坐标方向xi的变化率用函数对该坐标变量的一阶偏导数表示。 二、方向导数和梯度 函数沿任一方向的变化率，用方向导数描述。 二元函数在X（k）处沿与坐标轴夹角为?i的 S方向的变化率，即方向导数 二、方向导数和梯度 二、方向导数和梯度 多元函数在X（k）处方向导数 梯度 ；方向S上的单位向量； S的方向角； S的方向余弦 2．梯度 函数在点X（k）的梯度是由函数在该点的一阶偏导数组成的向量 。 根据矢量代数 2．梯度 函数在某点沿方向S的方向导数等于 该点的梯度在方向S上的投影。 函数梯度性质 (1) 梯度方向是函数等值线(或等值面)的法线方向 当S方向与该点的梯度相垂直时，函数在该点沿S的