第02章(数学基础).pptVIP

计算多元函数的梯度与方向导数。2. 证明:目标函数在某点处的梯度是该目标函数等值线或超 曲面在该点的法向量3.多元函数的泰勒展开式，取到二次项。4.证明：驻点为极小点的充要条件为，海赛矩阵正定。5.元函数求其极值点和极值。（先求驻点，再判断海赛 矩阵）6.凸函数凸集的定义，性质7.拉格朗日乘子法8.库恩-塔克条件判断约束极值点 结 束 结 束 凸函数的基本性质 为凸集上的凸函数，则对于任意实数 ， 也是该凸集上的凸函数。 和 1．设 2．设 为定义在凸集上的两个凸函数，则对于任意两个函数 也是该凸集上的凸函数。 α和β，则 为凸集D上的凸函数，则 小点也就是 在D上的全域最小点。 3．若 在D上的一个极 第二章 第四节 凸集、凸函数与凸规划 1、若函数 在D上具有连续的一阶导数，则 为D上的凸函数的充分必要条件为： 恒有 2、若函数 在凸集D上存在二阶导数并且连续时，对 Henssian矩阵处处是正半定的，即 三、凸性条件 对任意 在D上为凸函数的充要条件为： 第二章 第四节 凸集、凸函数与凸规划 四、凸规划 若 ， 为凸函数，此问题为凸规划 2、可行域 为凸集。（证明见书本） 凸规划有如下性质： 1、给定一点 则集合 为凸集。当目标函数为二元函数时，等值线表 现为大圈套小圈。（证明见书本） ， 第二章 第四节 凸集、凸函数与凸规划 3、凸规划的局部最优解就是全域最优值解。 （证明见书本） 对于非凸规划，则局部最优解不一定是全域最优解。如图所示。 （实际问题中， 目标函数一般为 高维函数，很难 被证明为凸函数） 第二章 第四节 凸集、凸函数与凸规划 第五节 等式约束优化问题的极值条件 一、消元法（降维法） 由l个约束方程将n个变量中的前l个变量 用其余 只含有n-l个变量的函数，可利用无约束优化问题的极值条件求解。 （消元法实际做起来较困难，因为将l个约束方程联立往往无法求解，即使解出，将其代入目标函数后，也会因函数复杂无法求得理论解，但可用数值迭代方法求解）。 个变量表示, n-l 从而得到 第二章 第五节 等式约束优化问题的极值条件 ? ? ? ? ? í ì = = ? = ? ? = = ? = ? ? = ? ? = = ) , , , ( d ) ( d ) ( d d ) ( d ) ( d * n 1 i * * n 1 i * n l k h x x h h f x x f f T k i i k T i i L 2 1 0 0 x x x x x x 二、拉格朗日乘子法（升维法） 1．拉格朗日乘子 优化问题： 第二章 第五节 等式约束优化问题的极值条件 设 为约束最优点，则根据约束最优点的定义，则在 点不可能存在一个方向 而又不破坏约束条件，即：存在方向d既与x*点目标函数的梯度方向垂直，又与该点约束函数界限的梯度垂直。 ，既使目标函数值下降 把l个等式约束给出的l个 分别乘以待定系数 第二章 第五节 等式约束优化问题的极值条件 λk再和 相加，得 λ——拉格朗日乘子 2．拉格朗日函数 令 ——拉格朗日函数 ∵ 由拉格朗日函数取极值的条件为 ∴等式约束条件下的极值问题，即转化为对拉格朗日函数 3．拉格朗日乘子法的一般情况 对于优化问题： 求无约束极值问题——拉格朗日乘子法 （e）共n+l个方程 第二章 第五节 等式约束优化问题的极值条件 取拉格朗日函数： 转化为无约束优化问题： 应用极值条件解 极值点： 解题思路： 第二章 第五节 等式约束优化问题的极值条件 例： 拉格朗日函数： 由 得： 代入 得 由 ， ∴ ， 第二章 第五节 等式约束优化问题的极值条件 一、一元函数在给定区间上的极值条件 （自学） 第六节 不等式约束优化问题的极值条件 -Kuhn-Tucker条件 二、多元函数不等式约束优化问题的极值条件 第二章 第六节 不等式约束优化问题的极值条件 库恩—塔克（Kuhn-Tucker）条件： Kuhn-Tucker条件的几何意义：在约束极值点 处，函数 点梯度的非负线性组合。 的负梯度一定能表示成所有起作用约束在该 将上式表达为梯度形式，得 第二章 第六节 不等式约束优化问题的极值条件 两个起作用的约束 （说明如下：）如图 和 为二个起作用的约束，极值点 一定落在约束曲面 的交线上，且 及 应共面 （线性相关）。 三者 第二章 第六节 不等式约束优化问题的极值条件 落在 锥角之内， 点向 都不再落在可行域内。 点为约束极值点。 图a 和 的夹角之间 所以线性组合的系数为正