第二章 最优化问题数学基础.pptVIP

第二章 最优化问题数学基础 §1.1 二次型与正定矩阵 用矩阵表示为 其中，矩阵A的元素　　　　正是二次型的 　　项的系数的一半，　是二次型的　项 的系数．因此，二次型和它的矩阵A是相互 唯一决定的，且　　　． 二、正定矩阵 定义2.1 如果二次型 对于任何一组不全为零的数　　　　恒有 则称 正定，且二次型矩阵A也称为正定． 简言之，一个对称矩阵A如果是正定的，则二次型 对于所有非零向量X其值总为正．类似可以给出定义，若二次型 则A为半正定矩阵；若　　　　，则A为半负定矩阵；若二次型既不是半正定又不是半负定，就称矩阵A为不定的． 　矩阵A为正定的充要条件是它的行列式的顺序主子式全部大于零，即 由此可见，正定矩阵必然是非奇异的． 例2.1 判断矩阵 是否正定． 解 ∵ ， ∴ A是正定的． 一、方向导数 所谓方向导数的概念是作为偏导数的一个推广而引入，它主要研究函数沿任一给定方向的变化率． 定义2.2 设 在点 处可微，P是固定不变的非零向量， 是方向P上的单位向量，则称极限 2.1 为函数 在点 处沿P方向的方向导数，式中 是它的记号． 　　定义2.3 设 是连续函数， ，且 ，若存在 ，当 时都有， 则称P为在点处的下降方 向．若 ，则称P为在点处的上升方向． 由以上两个定义可立刻得到如下的结论： 若 ，则 从 出发在 附近沿P方向是下降；若 ，则从出发在附近沿P方向是上升． 二、梯度 定义2.4 以 的n个偏导数为分量的向量称为 在X处的梯度，记为 ． 梯度也可以称为函数 关于向量 的一阶导数． 以下几个特殊类型函数的梯度公式是常用的： （1）若 （常数），则 ，即 ； （2） ． 证 设 ，则 于是 的第 个分量是 ． 所以 （3） ． （4）若Q是对称矩阵，则 三、梯度与方向导数之间的关系 定理2.1 设 在点 处可微，则 ， 其中 是 方向上的单位向量. 由这个定理容易得到下列结论： 1 若 ，则P的方向是函数在点 处的下降方向； 2 若 ，则 的方向是函数在点 处的上升方向． 方向导数的正负决定了函数值的升降，而升降的快慢就由它的绝对值大小决定．绝对值越大，升降的速度就越快，即 ·1· 上式中的等号，当且仅当的方向与的方向相同时才成立． 由此可得如下重要结论 如图2.1所示）： 1 梯度方向是函数值的最速上升方向； 2 函数在与其梯度正交的方向上变化率为零； 3 函数在与其梯度成锐角的方向上是上升的，而在与其梯度成钝角的方向上是下降的； 4 梯度反方向是函数值最速下降方向． 对于一个最优化问题，为了尽快得到最优解，在每一步迭代过程中所选取的搜索方向总是希望它等于或者是靠近于目标函数的负梯度-----图2.1的方向，这样才能使函数值下降的最快． 例2.2 试求目标函数在点处的最速下降方向，并求沿这个方向移动一个单位长后新点的目标函数值． 解 因为 所以最速下降方向是－ ． 这个方向上的单位向量是 故新点是 对应目标函数值为 §2.3 海色矩阵及泰勒展式 一、海色（Hesse）矩阵 前面说过，梯度 是 关于 的一阶导数，现在要问 关于 的二阶导数是什么？ 定义 2.5 设： : ， ，如果在点 处对于自变量的各分量的二阶偏导数 都存在，则称函数在点处二阶可导，并且称矩阵 是 在点 处的Hesse矩阵． 在数学分析中已经知道，当 在点 处的所有二阶偏导数为连续时有 因此，在这种情况下Hesse矩阵是对称的． 例2.3 求目标函数 的梯度和Hesse矩阵． 解 因为 所以 又因为 所以 例2.4 设 ，求线性函数 在任意点X处的梯度和Hesse矩阵． 解:设 , 则 （2.2） ∴ 由式（2.2）进而知 ∴ （阶零矩阵）． 例2.5 设 是对称矩阵， ，求二次函数 在任意点处的梯度和Hesse矩阵． 解 设 则 将它对各变量 求偏导数，得 ∴ 在上式中显然 再对它们求偏导数得 ∴ 以上例子说明，元函数求导与一元函数的求导在形式上是一致的，即线性函数的一阶导数为常向量，其二阶导数为零矩阵；而二次函数的一阶导数为线性向量函数，二阶导数为常矩阵． 最后介绍在今后的计算中要用到的向量函数的导数． 定义2.6 设 ，记 如果 在点 处于自变量 的各分量的偏导数 都存在，则称向量函数 在点 处是一阶可导的，并且称矩阵 是在点处的一阶导数或Jacobi矩阵，简记为 由于n元函数 的梯度是向量函数 所以 的一阶导数或Jacobi矩阵为 得到 据此，从上式得知，函数梯度的Jacobi矩阵即为此函数的H