2.3-2.4Hesse阵及极小点判定 .ppt

一、Hesse矩阵 1、Hesse矩阵的定义 2、Hesse矩阵的性质 二、Jacobi矩阵 三 泰勒展式 证明：设 于是 椭球面 例如：三元方程，在三维空间中代表何种几何曲面. 如函数 在点 处的梯度 ，但 是双曲面的鞍点，而不是极小点。 o 鞍点：设X和Y是两个非空集,f是积空间X~Y上的一个函数,点(x0,Y0)∈XxY，若满足 min,f(x,Yo)。maxf(xo,y) 则称为f在x×Y上一个鞍点。为了确保鞍点的存在,我们通常加上一些先决条件,例如:如果X和Y是拓扑向量空间内紧集,f是X×Y上一个连续凸一凹的 o 例3　试求函数f(x1,x2)=2x12-8x1+2x2２-4x2+20的极值和极值点． 解：令 得（2,1）点为驻点 极值存在的条件 其海赛矩阵之行列式 可知（2,1）点为极小点,其极小值为: 无约束优化:最优解的分类和条件 给定一个函数 f(x),寻找 x* 使得 f(x*)最小，即 其中 局部最优解 全局最优解 必要条件 x * f(x) xl xg o 充分条件 Hessian阵 最优解在可行域边界上取得时不能用无约束优化方法求解 定理2.5 若多元函数在其极小点处的Hesse矩阵是正定的，则它在这个极小点附近的等值面近似地呈现为同心椭圆球面簇 由方程 所表示的曲面称为椭球面，而此方程称为椭球面的标准方程，其中a，b，c都是正数。当 时，它是一个半径为 a 的球面；而当 或 ，或 时，它是一个旋转椭球面。 * * 第二章 最优化问题的 数学基础 Hesse矩阵及泰勒展式 极小点的判定条件 §2.3 Hesse矩阵及泰勒展式 梯度▽f(X)是关于f(X)关于X的一阶导数，那么f(X)关于X的二阶导数是什么？ 当f在点X0点的二阶偏导数都连续时，有 因此，在这种情况下Hesse矩阵是对称的。 例１　求目标函数 的梯度和Hesse矩阵 解:因为 3、举例 又因为 所以 即为Hesse矩阵 例2　设 求线性函数 在任意点X处的梯度和Hesse矩阵 解:设 所以 进而 例3　设 求 二次函数 在任意点处的梯度和Hesse矩阵 解:设 将它对各变量xi（i=1,2,,n）求偏导数，得： 所以 上式中显然有 再对它们求偏导数得： 所以： 1、定义 定理 2.2 设 具有二阶连续偏导数，则 对 按一元函数在t=0点展开，得到 §2.4 极小点的判定条件 函数f(X)在局部极小点满足什么条件？反之满足什么条件的是局部极小点？什么是全局极小点？那么怎样找到全局极小点呢？ 下面我们给出各类极小点的定义 无约束优化:最优解的分类和条件 给定一个函数 f(x),寻找 x* 使得 f(x*)最小，即 其中 局部最优解 全局最优解 x * f(x) xl xg o 怎样寻求局部最优解，和全局最优解？ 邻域的定义 局部极小点和严格局部极小点 局部极小点 严格局部极小点 全局极小点和严格全局极小点 全局极小点 严格全局极小点 １必要条件：设Ｒ是n维欧氏空间的某一区域，f(X)为定义在Ｒ上的实值函数，Ｘ＊是区域Ｒ的内点，若f(Ｘ）在Ｘ＊处可微，且在该点取得局部极小值，则必有 或 极值存在的条件 其中， 为函数f(x)在Ｘ＊处的梯度，梯度的方向为f(X)的等值面（等值线）的法线方向，沿这个方向函数值增加最快． 　　满足上式的点称为驻点，在区域内部，极值点必为驻点；但驻点不一定是极值点．　 ２充分条件：设Ｒ是n维欧氏空间的某一区域，f(X)为定义在Ｒ上的实值函数，Ｘ＊是区域Ｒ的内点，f(Ｘ）在Ｒ上二次连续可微，若 则Ｘ＊ 是f(x)的严格局部极小点 极值存在的条件 此处 为f(x)在点Ｘ＊处的海赛（He