第2部分优化方法的数学基础学习课件.pptVIP

多元函数泰勒展开 海色矩阵 （Hessian） 对二次函数： 为二次函数的海色（Hessian）矩阵，常量矩阵。 二次函数的梯度为： 一个判断二次函数为凸函数的简单办法： 如果该函数的HESSEN矩阵为正定，则该函数为凸函数。 例：求目标函数f（X）= 的梯度和Hesse矩阵。 解：因为 则 又因为： 故Hesse阵为： 例题: 用泰勒展开将函数 在点 简化成线性函数与二次函数。 解：函数在点 的函数值、梯度和二阶导数矩阵： 简化的线性函数 简化的二次函数 二、无约束优化问题的极值条件 1.F(x)在 处取得极值，其必要条件是: 即在极值点处函数的梯度为n维零向量。 例： 在 处梯度为 但 只是双曲抛物面的鞍点，而不是极小点。 函数的梯度为零的条件仅为必要的，而不是充分的。 则称 为f的驻点。 定义：设 是D的内点，若 图1 二元函数的极值点 图2 驻点不是极值点而是鞍点 根据函数在 点处的泰勒展开式，考虑上述极值必要条件，可得相应的充分条件。 为了判断从上述必要条件求得的 是否是极值点，需