优化方法数学基础预案.ppt

第二章????机械优化设计 2-2 优化方法数学基础 优化设计——极值 多变量、多约束非线性优化 高等数学极值理论是求解基础，但是不能 直接求出最优解。 对多变量约束优化问题的求解方法所涉及 的数学概念及有关理论进行补充和扩展。 介绍二次函数、多元函数的梯度、函数的近 似表示以及极值条件和数值迭代解法等基本概念。 一、方向导数和梯度 1．方向导数 导数是描述函数变化率的数学量。 微分知识知，一元函数在点xk的一阶导数表示函数 在该点的变化率。 1)函数梯度性质 (3) 各点函数梯度不同。 梯度大小就是梯度的模长。 (4) 梯度是函数在一点邻域内局部性态的描述。 (5) 极值点处梯度为零 ?梯度为零不一定是极值点。 四、数值迭代算法 基本思想 极大值——上升算法； 极小值——下将算法. ——每前进一步，函数值有所改善，同时为下一步移动方向提供有用信息。 四、数值迭代算法 按照某一迭代格式，从一个初始点X(0)出发逐步产生一个点列 X(0)， X(1)，…， X(k)， X(k+1)，… 点列所对应的目标函数值呈下降趋势，构成此点列的方法就是下降迭代算法。 1．下降迭代算法基本格式 下降迭代算法的构成需要解决基本问题： ① 选择搜索方向 不同的搜索方向，构成不同的下降迭代算法； ② 确定步长因子 一般通过一维搜索法取得最优步长因子； ③ 给定收敛准则 用以判断迭代点是否能够作为近似的最优点。 * * * * 二元函数在某点沿坐标方向xi的变化率用函数对该 坐标变量的一阶偏导数表示。 1．方向导数 函数沿任一方向的变化率，用方向导数描述。 二元函数在X（k）处沿与坐标轴夹角为?i的 S方向的变化率，即方向导数 1．方向导数 1．方向导数 多元函数在X（k）处方向导数 梯度 ；方向S上的单位向量； αi为S的方向角； S的方向余弦 2．梯度 函数在点X（k）的梯度是由函数在该点的一阶偏导数组成的向量 。 根据矢量代数 2．梯度 函数在某点沿方向S的方向导数 等于 该点的梯度在方向S上的投影。 1)函数梯度性质 (1) 梯度方向是函数等值线(或等值面)的法线方向 当S方向与该点的梯度相垂直时，函数在该点沿S的方向导数等于零。 说明方向位于该点等值线的切线上(或等值面的切平面内)→函数在该点的梯度方向必定是该点等值线或等值面的法线方向。 1)函数梯度性质 (2) (负)梯度方向是函数值(下降)增长最快的方向 当S方向与梯度夹角为零时，方向导数达到最大值 函数在一点的梯度方向是该点方向导数最大的方向(函数值增长最快的方向)； 与梯度相反的方向称为负梯度方向 。函数在一点的负梯度方向是该点函数值下降最快的方向。 与梯度成锐角的方向是函数值上升的方向，与梯度成钝角的方向是函数值下降的方向。 x2 x1 . . . 2)函数梯度求解 例 求函数f(X)=(x1-2)2+(x2-1)2在点X(1)=[3,2]T和X(2)=[2,2]T处的梯度并作图表示。 解 梯度 二、多元函数的近似表示 一元函数在点xk的邻域内n阶可导，可在该点的邻域内泰勒展开 多元函数若在点X（k）作泰勒展开，展开式一般取三项，形式与一元函数展开式的前三项相似，即 二、多元函数的近似表示 二阶导数矩阵[海赛(Hessian)矩阵】，n阶对称矩阵 取泰勒展开式的前两项，得到泰勒线性近似式 例 用泰勒展开函数f(X)=x13-x23+3x12+3x22-9x1，在点X(1)=[1,1]T简化成线性函数和二次函数。 二、多元函数的近似表示 解 函数在点X(1)的函数值、梯度和二阶导数矩阵 二、多元函数的近似表示 简化线性函数 简化二次函数 将X(1)代入简化所得的线性函数和二次函数中，其函数值等于-3，与原函数在点X(1)的值相等，说明简化正确。 三、函数的极值 无约束优化问题的极值只取决于目标函数本身性态，约束优化问题的极值不仅与目标函数的性态有关，且与约束函数的构成相关。 (一)无约束问题极值条件 高等数学知，一元函数在点xk 取得极值： 必要条件是函数在该点的一阶导数等于零，充分条件是二阶导数不等于零。 三、函数的极值 多元函数在点