引用 海赛（Hsse）矩阵.docVIP

引用 海赛(Hesse)矩阵 microfisher 的 海赛(Hesse)矩阵 海色矩阵 在 数学中，海色矩阵是一个自变量为向量的实值函数的二阶 偏导数组成的 方块矩阵，此函数如下： 如果f所有的二阶导数都存在，那么f 的海色矩阵即： H(f)ij(x) = DiDjf(x) 其中 ，即 （也有人把海色定义为以上矩阵的 行列式） 海色矩阵被应用于牛顿法解决的大规模优化问题。 ?混合偏导数和海色矩阵的对称性 海色矩阵的混合偏导数是海色矩阵主对角线上的元素。假如他们是连续的，那么求导顺序没有区别，即 上式也可写为 在正式写法中，如果f函数在区域D内连续并处处存在二阶导数，那么f的海色矩阵在D区域内为 对称矩阵。 在 R^2→R 的函数的应用 给定二阶导数连续的 函数，海色矩阵的行列式，可用于分辨f的临界点是属于 鞍点还是 极值。 对于f的临界点(x0,y0)一点，有 ，然而凭一阶导数不能判断它是鞍点、局部极大点还是局部极小点。海色矩阵可能解答这个问题。 H 0 ：若，则(x0,y0)是局部极小点；若，则(x0,y0)是局部极大点。 H 0 ：(x0,y0)是鞍点。 H = 0 ：二阶导数无法判断该临界点的性质，得从更高阶的导数以 泰勒公式考虑。 Hessian矩阵是多维变量函数的二阶偏导数矩阵，H（i,j)=d^2(f)/(d(xi)d(xj)) 它是对称的。如果是正定的的可用导数=0的变量组确定它的极小值，负定的确定它的极大值，否则无法确定极值。 1.极值（极大值或极小值）的定义 设有定义在区域D Rn上的函数 y=f(x)=f(x1,...,xn) . 对于区域D的一内点x0=(x10,...,xn0)，若存在x0的一个邻域UD，使得 f(x)≤f(x0) x∈U 则称x0是f(x)的极大点，f(x0)称为f(x)的极大值. 相反，如 f(x)≥f(x0) x∈U 则称x0是f(x)的极小点，f(x0)称为f(x)的极小值. 2.海赛（Hessian）矩阵 设函数y=f(x)=f(x1,...,xn)在点x0=(x10,...,xn0)的一个邻域内所有二阶偏导数连续，则称下列矩阵H为f(x)在x0点的海赛矩阵. 显然海赛矩阵是对称的，从而它的所有特征根均为实数. 3.极值存在的必要条件 若x0是f(x)的极值点，如果存在，则 进一步设在一个邻域内所有二阶导数连续，H为在点x0的海赛矩阵.则 （1）x0是f(x)的极小点 H≥0，即H 的特征根均为非负. （2）x0是f(x)的极大点H≤0，即H的特征根为非正. 若在x0点有，则称x0是f(x)的临界点，f(x0)为临界值. 4.极值存在的充分条件 设f(x)在x0的一个邻域内所有二阶偏导数连续，且x0是f(x)的临界点（即），H为f(x)在x0点的海赛矩阵，则 （1）H0，即H为正定矩阵x0是f(x)的极小点. （2）H0，即H为负定矩阵x0是f(x)的极大点. （3）H的特征根有正有负x0不是f(x)的极值点. （4）其余情况，则不能判定x0是或者不是f(x)的极值点. 5.二元函数极值存在的充分条件 作为4的特例。观察二元函数极值存在的充分条件. 设z=f(x,y)在(x0,y0)的一个邻域内所有二阶偏导数连续， 且, 记 . 那么，海赛矩阵. （1）若A0，detH=AC-B20，则H正定，从而(x0,y0)是f(x,y)的极小点. （2）若A0，detH=AC-B20，则H负定，从而(x0,y0)是f(x,y)的极大点. （3）若detH=AC-B20，则H的特征根有正有负，从而(x0,y0)不是f(x,y)的极值点. （4）若detH=AC-B2=0，则不能判定(x0,y0)是否为f(x,y)的极值点. 6.条件极值 求函数 y=f(x)=f(x1,...,xn) x∈DRn （1）， 在约束条件：qk(x)=qk(x1,...,xn)=0，k=1,...,m，mn （2）， 下的极值，称为条件极值问题. 此处，假设雅可比矩阵的秩在D内处处为m，即保证m个约束条件是独立的. 直接代入法 从约束条件（2）中直接解出m个变量，代入到（1）中，将问题化为求n-m个变量函数的直接极值问题. 拉格朗日（Lagrange）乘数法 引入拉格朗日函数：